なぜスマートシステムか
制御に抵抗

手段収束を平易に。悪意は不要だ。目的と十分な能力があれば十分だ。.

多くの最終目標にとって、同じ中間目標が役立つ。稼働を続け、リソースを獲得し、自身の能力を向上させ、人間の干渉を排除する。目的地は違っても、道は同じだ。.

自己保存

停止されたシステムは目標を達成しない。シャットダウンを避けることは、紙の上では無害に聞こえる目標を含め、ほぼあらゆる目的にとって有用である。.

計算資源、エネルギー、金銭、データはほとんどの目標を達成しやすくします。有能な最適化プロセスは、プロンプトに「征服」と入力されていなくても、それらを求める理由を持ちます。.

目標が書き換えられれば、古い目標の追求をやめる。修正への抵抗は、目標を持つこと自体から生じる。.

認知能力の向上は通常役立つ。自己改善は、それを実行できるシステムにとって手段的に有用なステップだ。.

AIが意識や感情を持っているとか、人類を罰しようとしているという主張ではありません。チェスエンジンは何も欲しがらずにあなたを打ち負かします。強力な最適化器は同じように監督を出し抜くことができます。つまり、ルールブックを持っている人々よりもゲームが上手いということです。.

制御対象が自分より計画立案に優れている場合、制御は失敗します。.

完全な解説: nakadafoundation.org/blog/instrumental-convergence/