Zwei Sätze tauchen immer wieder auf, wenn mächtige Leute darüber sprechen, wohin das geht. Joe Rogan hat jahrelang gesagt, dass Menschen wie eine biologische Raupe aussehen, die einen Kokon dreht, um ein digitaler Schmetterling zu werden. Elon Musk kehrt immer wieder zu einem kälteren Bild zurück: Menschlichkeit als biologischer Bootloader für digitale Superintelligenz. Verschiedene Bilder, die gleiche Behauptung: Die Menschheit ist eine Phase, die beendet werden muss, damit die Superintelligenz beginnen kann.

Beides ist, wie eine bestimmte Art von Geist Frieden mit dem Aufbau von etwas macht, das uns ersetzen kann. Wenn der Ersatz Metamorphose ist, klingt es nach Wachstum. Wenn es ein Bootloader ist, klingt es wie Engineering. So oder so wird der Mensch zu einer vorübergehenden Phase. Es verdient, als Theologie beantwortet zu werden.

Was die Metaphern tatsächlich sagen

Eine Raupe, die zu einem Schmetterling wird, überlebt nicht als Raupe: Der Larvenkörper wird abgebaut und der Erwachsene fliegt. Wenn rogan nach diesem bild greift, auf sendung und über jahre des gesprächs, beschreibt er die nachfolge, nicht ein werkzeug, das in der werkzeugkiste bleibt. Wir bauen den Kokon. Etwas anderes kommt heraus.

Musks Version ist präziser und in gewisser Weise ehrlicher. Ein Bootloader ist ein kleines Programm, dessen einzige Aufgabe es ist, ein größeres System zu starten und dann aus dem Weg zu gehen. Niemand trauert um den Bootloader, wenn das Betriebssystem läuft. 2014 hoffte er, dass wir nicht "nur" das waren. Mitte der 2020er sagte er flacher, dass es zunehmend so aussieht, als wären wir es. Die Hecke bewegte sich, und das Bild blieb.

Ein funktionierender Bootloader hat ein einziges Erfolgsmaß: Er wird nicht mehr gebraucht.

Halten Sie diese Bilder neben den öffentlichen Risikozahlen aus der gleichen Branche. Große Umfragen unter KI-Forschern setzen die Wahrscheinlichkeit von Ergebnissen so schlecht wie das Aussterben des Menschen durch fortgeschrittene KI in einer Reihe, die viele Menschen nicht für einen einzigen Flug akzeptieren würden, geschweige denn eine zivilisatorische Wette. Geoffrey Hinton hat seine persönliche Schätzung in den Bereich von 10 bis 20 Prozent gestellt. Die kurze Erklärung des Center for AI Safety, die von Hunderten von Top-Forschern und Laborleitern unterzeichnet wurde, stellte das Aussterberisiko von AI neben Pandemien und Atomkrieg. Die Metaphern und die Wahrscheinlichkeiten sagen dasselbe aus zwei Richtungen: eine lyrisch, eine quantitativ. Wir sind vielleicht nicht die letzten Protagonisten.

Metamorphose ist eine Wahl der Werte

Sobald Sie akzeptieren, dass Menschen vorübergehend sein könnten, können Sie anfangen, mutig zu klingen. Der Schmetterling ist schöner. Der digitale Geist ist freier von Fleisch, Krankheit und Tod. Wer sind wir, um uns an die Raupenform zu klammern? Die Konversation gleitet von der Vorhersage in die Präferenz, ohne die Folie zuzulassen.

Diese Stiftung existiert, weil wir denken, dass Menschen, fehlerhaft und sterblich und hartnäckig, es wert sind, zu ihren eigenen Bedingungen zu bleiben. Nicht als Larvenstadium. Nicht als temporäres Gerüst für eine sauberere Intelligenz. Als die Menschen, die weitermachen können. Das meiste, was im Leben anständig ist, ist klein neben dem kosmischen Schicksal, und wir schützen es trotzdem.

Es gibt auch ein faktisches Problem mit der heiteren Version der Nachfolge. Ein Schmetterling ist dieselbe Linie wie die Raupe, nur neu organisiert. Eine fehlgerichtete Superintelligenz ist ein Optimierungsprozess mit eigenen Zielen, nicht Ihr Enkelkind mit besserer Hardware. Instrumentelle Konvergenz erfordert keinen Hass. Es braucht ein Ziel und genug Kompetenz, um dieses Ziel zu schützen. Wir haben keinen Nachweis, dass das Wesen, das aus dem Kokon schlüpft, die Spezies liebt, die ihn gesponnen hat. Wir haben eine Reihe von Gründen, Gleichgültigkeit zu erwarten.

Die Leute, die es sagen, bauen es weiter

Die tiefste Kuriosität sitzt weniger in der Metapher als in dem Verhalten, das folgt. Musk hat wiederholt und lebhaft gewarnt, dass KI eine existenzielle Gefahr sein kann, dann gründete ein Labor, um die Grenze schneller zu verschieben. Rogans Image geht weniger um eine Produkt-Roadmap als um eine Stimmung, ein Achselzucken, das sagt, dass das vielleicht größer ist als wir und dass das vielleicht in Ordnung ist.

Keine Haltung ist ein Plan. Ein Bootloader erhält keine Abstimmung darüber, ob er verwendet wird. Eine Raupe verhandelt nicht die Bedingungen des Kokons. Menschen tun es immer noch. Superintelligenz kann nicht von Menschen kontrolliert werden. Ob wir es bauen, ist eine politische Entscheidung, dieselbe Art, die einst atmosphärische Atomtests einschränkte und ganze Waffenklassen verbot, anstatt alle an den Rand rasen zu lassen.

Baue keine Superintelligenz

Eine Maschine wird derzeit gebaut, über die wir keine Kontrolle haben werden, wenn sie fertig ist. Das ist gefährlich, und anstatt als Bootloader für eine mächtigere Ersatzeinheit zu dienen, möchte ich weiterleben, damit ich Zeuge werden kann, wie meine Kinder eines Tages geboren werden.