人々は人工汎用知能と人工超知能を同義語やブランド名、SFの雰囲気作りとして使う。それらは違う。区別が重要なのは、制御問題と政策手段が階段を上るにつれて変わるからであり、ラボが資金集めのために「人工汎用知能に近い」と言い、規制回避のために「危険から遠い」と言うインセンティブがあるからだ。.

平易な定義

Narrow AI は限定された仕事のために作られている：動画の推薦、タンパク質の折り畳み、腫瘍の発見。それが優れていても、一般的なエージェントではない。.

人工汎用知能 （artificial general intelligence）とは、複数のタスクにわたる幅広く柔軟な能力を、人間並みの水準で持ち、単にプロンプトに答えるだけでなく目標を追求できる程度の主体性を備えたものを指す。定義は様々だが、肝心なのは汎用性と実用的な自律性である。.

人工超知能 （artificial superintelligence）とは、科学、戦略、権力に関してほぼすべての重要な領域で人間を大幅に上回る認知能力を意味する。「人工汎用知能に10パーセントを足したもの」ではない。誰が誰を計画で上回れるかという質的な断絶だ。.

はしごであって、2つの箱ではない

rung で考えましょう。現在の最先端モデルは幅広いがムラがあり、人間による足場が大きく、急速に改善しています。エージェント型スタック（ツール、記憶、計画ループ）は、チャットボックスが示唆するよりもはるかに自律的に基盤モデルを動作させることができます。人工汎用知能クラスのエージェンシーは、すでに不整合であれば深刻な制御・社会問題となります。人工超知能は決定的優位です。より速い科学、より優れた戦略、人間のバイアスのより巧みな利用、より困難な停止です。.

領域特化の超知能はもはや目新しい話ではない。チェスやタンパク質折り畳みで人間を圧倒しても、それは狭い知能に過ぎない。複数領域にまたがる戦略的超知能こそ、このサイトが阻止しようとしている段階だ。.

なぜ「人工汎用知能で止める」というのは不安定なのか

仮に研究室が制御可能な人間レベルの汎用システムに到達したとしても、さらに推し進める圧力は消えない。軍事的優位、商業的優位、名声——すべてがさらに上を指す。競争のダイナミクスは最も慎重でない動きをする者を優遇する。. レースの話 は速度を正当化するためによく使われるが、制御を正当化するものではない。.

マーケティング抜きの測定

ベンチマークは落ち、プレスリリースは上がる。危険能力評価は、制御された条件下でサイバー攻撃、生物支援、自律複製、説得などを測定しようとする。役には立つが、特にシステムが サンドバッグ. 政策はコンピュート、能力テスト、自律性に基づくべきで、企業が製品と呼ぶものに基づくべきではない。.

時間を無駄にする神話

人工汎用知能はロボットの身体を必要としない。遠隔ツールと既存の機械で物理世界は動かせる。意識は能力や制御とは別の問題だ。「人間レベル」は一つの数字ではない。平均的な個人、専門家のチーム、人類の制度的な最善はそれぞれ異なる基準だ。安全に関わる人工汎用知能とは、実際のインセンティブ下での汎用的な問題解決エージェンシーであり、単一の試験スコアではない。.

法律に何が持ち込まれるのか

法令が「人工汎用知能」または「人工超知能」と名付けられたシステムだけを規制すれば、企業は名前を変えるでしょう。良いトリガーは運用面のものです。訓練実行の規模、ツールの自律性、危険能力の評価結果、高性能汎用モデルの重み公開などです。ツール的な狭いAIは引き続き許容されるべきです。当財団が引く線は、人工超知能とそれを目指すプログラムです。.

1分で言う方法

狭いAI：道具。人工汎用知能：人間レベルの汎用エージェンシー。自律的かつミスアラインドであれば既に深刻な制御問題。人工超知能：あらゆる領域で我々を凌駕する機械知能。道具は残せます。主権的な心は作るべきではありません。超知能は制御できません。その要請は 私たちの計画.