創発的能力とは何か
大規模言語モデルにおいて？?

グーグルや他の研究者によるJason Weiらの論文は、モデル規模が閾値を超えるまで性能が偶然レベルに留まり、その後急激に上昇するタスクを分類した。多段階算術、専門領域の問題、訓練データにほとんど現れない言語での指示、複数段階の推論——これらはどれも意図的に設計された機能ではなかった。モデルが大きくなるにつれて現れたのである。論文はこれらを「創発的能力」と呼んだ。

その用法における創発的能力とは、小さいモデルにはなく大きいモデルにはある能力で、移行が滑らかな傾斜ではなくスイッチのように見えるものを指す。ある規模以下ではモデルはタスクを実行できない。それを超えると実行できる。その能力は小さいシステムの傾向からは読み取れなかった。

フラグを立てる価値のある本物の議論

創発は定説ではない。一部の研究者は、報告された飛躍のいくつかは部分的に測定のアーティファクトだと主張する。厳しいオール・オア・ナッシングの指標は、着実な基盤的進歩を突然のように見せ、一方より滑らかな指標は漸進的な改善を示す、というものだ。その批判は特定の事例に当てはまり、公平な検討に値する。

「それは実務的な問題を解消しない。能力が真の不連続として到来しようと、閾値を超えた後にのみ気づかれる急勾配の曲線として到来しようと、ガバナンスの状況は同じだ。我々は、モデルが新しいことをできると知るのは、それが可能になった後であって前ではない。政策立案者が次の訓練実行を安全にゴーサインを出せるかどうかを決める場合、本物の創発と急な曲線の区別は学術的だ。いずれにせよ、驚きは決定の向こう側にある。」.

次のモデルのアビリティに名前を付けることはできません

より大きなモデルを訓練する前に、それが何をできるようになるかの完全なリストを、私たちは確実に予測できない。スケーリング則は損失などの広範な性能指標をかなりよく予測する。だが、どの特定の能力がいつ現れるかは特定しない。能力は個別より全体として予測しやすい。

ほとんどの能力にとって、それは単なる興味深いものです。安全に関連するものにとって、これは憂慮すべきことです。翻訳において驚くべき才能を生み出すのと同じ予測不可能性が、本書で取り上げられているタスクに関しても驚くべき才能を生み出す可能性があります。 危険な能力の評価: サイバー支援、生物兵器の支援、大規模操作。誰も予想しなかった能力は、誰もテストせず、誰も防御策を講じなかった能力だ。

次のモデルが平均的な指標でどれだけ優れているかを大まかに予測することはできる。しかし、それが何をできるかをすべて予測することはできない。そのギャップにリスクが存在する。

暗闇に拡大縮小しないでください

創発は、規模の大きなジャンプのたびに部分的な暗闇への一歩に変えます。完全な能力プロファイルは、それが存在した後でしかわからないシステムを構築するのです。そのとき、危険な能力が付随していたなら、そのシステムはすでにその能力を持っています。それは、事前に測定して緩和できる既知の危険とは異なるリスクです。

財団の訴訟は直接続きます。フロンティア スケーリングは、何が作成されているかを理解する能力より先に実行されるべきではありません。責任は、大規模な新しいシステムが訓練され展開される前に安全であることを証明することに負うべきであり、その後にその危険性を発見することではありません。能力が予告なく到着する可能性があるとき、 ジャンプ前の注意が唯一役に立つ.