ピーター・H・ディアマンディスが簡潔に述べ、イーロン・マスクがリポストした。「AIだけがAIに追いつける。それが次の10年のセキュリティモデル全体を導くものだ。」ペースの描写としては、この一文に異論を挟むのは難しい。モデルリリースは四半期ごとのレビュー委員会より速く到着する。攻撃コードは人間のアナリストがチケットを読むより速く変異する。問題のイメージがフィッシングの量とエクスプロイトの回転であるなら、当然防衛者は自動化に手を伸ばす。人間はそのようにスケールしない。.

同じ文にその重みを背負わせるよう求められると問題が始まる すべて that comes next, including systems that act as agents, hide their intent, and eventually outclass the people who built them. At that point "only AI can keep up" stops meaning "use better tools against malware." It means the security model of the next decade is to put the job of containment in the hands of the category of system you were trying to contain.

スローガンの正しい点

ソフトウェアはすでに手動レビューより速く動いています。詐欺グループは一夜にして新しいキャンペーンを立ち上げ、脆弱性開示の窓は縮小しています。ラボやクラウド事業者はすでに自動スキャナー、分類器、対応プレイブックを運用しています。人間のキューではすべてのパケットを監視できないからです。これらはどれも陰謀ではなく、超知能に関する見解を必要としません。ディアマンディスがスパムとランサムウェアについて語っているだけなら、ここで話は終わるでしょう。.

彼が言及しているのはスパムやランサムウェアだけではない。「次の十年におけるセキュリティモデル全体」という主張はより大きなものだ。それは、能力が複合的に増大する中で文明がどのように主導権を維持するかという問いである。ここでスローガンは運用上のTipsではなく、制御の哲学になる。.

踏み車

モデルを、攻撃と防御がともに自動化された競争として想像してみてほしい。双方が相手を訓練し、防御が向上すれば攻撃も向上する。ダッシュボードは、ある日突然赤に変わるまで緑のままになる。安心できる話は、善のAIが悪のAIに常に先んじているというものだ。あまり安心できない話は、有能な参加者が機械だけになり、人間はその競争の顧客にすぎなくなるというものだ。.

それはアンチウイルスなら問題ありません。しかし、システムが目標を設定し、計画を立て、監督を障害として扱うようになれば、それは文明全体の賭けです。私たちはすでにそのパターンの初期版を schemingの評価 そしてそのようなモデルにおいて 一つのことを語りつつ、もう一つを最適化する. 「追いつく」というのは、まだ何に追いついているのかがわかっていることを前提としている。ある時点を過ぎると、それは不可能だ。.

看守が囚人より賢くないと機能しないセキュリティモデルは、余計な手順を加えた継承計画だ。.

規制は彼らが言うボトルネックではない

このスローガンにはたいてい第二の動きが伴う。線形の制度では指数関数的な技術を統御できないから、答えはループ内により多くのAIを入れることだ。ときには「四半期に一度集まる専門家」への軽蔑とセットになる。週単位のモデル更新に緩慢な会議がそぐわないのは確かだ。.

しかし、会議の速さは難しい問題ではない。難しい問題は 制御. 四半期ごとの取締役会にも、常時稼働のAIモニターにも、シャットダウンキーを握る人々より説得力・コーディング・長期計画で優れたシステムを確実に方向づける方法はない。モニターを速くしても、欠けている方法は生まれない。ただ、その欠けた方法がより高い頻度で失敗するだけだ。.

同じ事実をよりクリーンに読むならこうなる。超人的なシステムだけが別の超人的システムを監督できるのなら、合理的な選択は両方を作るのではなく、人間の監督が機能しなくなる境界を拒否することだ。私たちは、誤用が都市を終わらせるような技術について、以前にも同じ選択をしてきた。核の盗難を解決するために、より賢い泥棒を訓練して最初の泥棒を捕まえようとはしなかった。.

その線は誰のためか

その一文は研究の選択を天候に変換する。もちろん出荷する。もちろんスケールする。セキュリティは製品スタック自体が扱う。能力から利益を得る人々は部屋の大人らしく聞こえ、拘束力のある制限を求める人々はドッグファイトにクリップボードを持ってきたように聞こえる。.

その枠組みは話者にとって都合がよい。クリップボードも監視モデルも確実に覆せないシステムの下流で生きなければならないすべての人にとっては、役に立たない。 競争の話 does the same job from another angle: treat the dangerous path as inevitable, then call acceleration responsibility.

人間を中に含むセキュリティモデル

フィッシング対策にAIを使おう。詐欺対策にAIを使おう。失敗が回復可能な狭い問題に狭いツールを使おう。そのどれもがスローガンを崇拝する必要はない。.

For frontier training toward artificial superintelligence, the security model that still has a human being in it looks older and less glamorous: do not build the agent you cannot overrule. Put compute thresholds, inspection, and treaty teeth on the runs that would get you there. Verify. Punish defection. That is 私たちの計画, それは四半期ごとの会合が魔法だと信じる必要はない。一部の能力は存在すべきではないと信じることだ。超知能は制御できない。.

そのスローガンは帯域幅についての鋭い一文だ。種としての計画としては、部屋を出るつもりだと丁寧に言っているにすぎない。.