Die Menschheit darf es nie
Superintelligenz bauen

Im Jahr 2025 setzten Hunderte von Wissenschaftlern und Persönlichkeiten des öffentlichen Lebens ihre Namen in eine kurze öffentliche Erklärung ein. Die frage übersprang sorgfältige skalierung und übersprang jede pause mit einem lebenslaufdatum. Es forderte ein Verbot der Superintelligenz, bis es eine breite wissenschaftliche Einigung darüber gibt, dass es sicher und stark durchgeführt werden kann öffentliches Buy-in. Der Aufruf war eine kurze Erklärung, die von einer langen Liste von Forschern und Persönlichkeiten des öffentlichen Lebens unterzeichnet wurde.

Es gibt eine bestimmte Sache, die derzeit in einer Handvoll Laboratorien trainiert wird, die die Menschheit sich weigern sollte zu bauen: eine allgemeine maschinelle Intelligenz, die uns in allen Bereichen übertrifft und sich dann über den Punkt hinaus verbessert, an dem wir mithalten können. Keine Verlangsamung, kein sorgfältiges Bauen, und nicht bauen und hoffen: ablehnen.

Menschen hören das und nehmen an, es komme aus Angst vor Technologie. Es kommt vom Gegenteil. Enge, kontrollierbare KI ist eines der besten Dinge, die unsere Spezies geschaffen hat, und ich möchte viel mehr davon. Die Linie verläuft an gewöhnlicher maschineller Intelligenz vorbei und endet bei einer Wette: der einzigen auf dem Tisch, bei der Verlieren bedeutet, dass niemand mehr da ist, der verloren hat.

Die Linie, klar formuliert

Zwei Dinge werden „KI“ genannt, und sie unterscheiden sich wesentlich. Das erste ist eng: ein System, das darauf trainiert ist, eine einzige Art von Aufgabe gut zu erledigen und sonst nichts. Es liest einen Scan, faltet ein Protein, prognostiziert einen Sturm. Es hat keine Ziele, macht keine Pläne und schaltet sich ab, wenn man es dazu auffordert. Das zweite ist das, was die Frontier-Labs angeblich bauen: ein allgemeiner Agent, der menschliches Denken in allem erreichen und dann übertreffen soll und schließlich eigenständig handeln soll. Künstliche Superintelligenz ist das ferne Ende dieser zweiten Straße: ein Geist, der sich zu uns verhält wie wir zu einem Schimpansen.

Die Linie verläuft zwischen diesen beiden: Bauen Sie die Werkzeuge und bauen Sie sehr viele von ihnen. Bauen Sie nicht den autonomen allgemeinen Geist auf, der seine Macher übertrifft: das eine System, das Sie nicht zuverlässig kontrollieren, korrigieren oder abschalten können, wenn es einmal läuft.

Es gibt keine validierte Methode, um einen Geist schlauer zu halten, als wir darauf hingewiesen haben, was wir eigentlich wollen: keine funktionierende, keine partielle, nicht einmal eine plausible Skizze, die den Kontakt mit einem System überlebt, das die Menschen, die es testen, modellieren kann. Ehrliches Lesen ist nie.

Die Unterscheidung von einer Pause ist wichtiger als sie klingt. Eine Pause hat ein Lebenslaufdatum eingebaut. Man hört auf, wartet, beginnt wieder im Zeitplan. Was die Stiftung verlangt, hat kein Lebenslaufdatum. Die Leute, die das Kontrollproblem am längsten studiert haben, haben sich Strukturelle Gründe, es ist nicht lösbar.

Drei Dinge machen dies anders als jedes andere Risiko

Wir gehen ständig reale Risiken ein. Wir bauten die Bombe, spalteten das Atom für Energie, schnitten Gene, gaben Technologien frei, die Menschen töteten, bevor wir lernten, sie zu handhaben. Superintelligenz bricht die Methode, mit der wir normalerweise unsere eigenen Erfindungen überleben. Drei Eigenschaften zusammen stellen sie in eine eigene Kategorie.

Es gibt keinen zweiten Versuch

Die Art, wie die Menschheit schon immer mit einer neuen Gefahr umgegangen ist, besteht darin, es auszuprobieren, das Scheitern zu beobachten und es zu beheben. Flugzeuge stürzten ab, und wir lernten, sicherere Flugzeuge zu bauen. Reaktoren schmolzen, und wir schrieben die Regeln neu. Diese Schleife aus Fehler, Korrektur und besserem Design ist der Motor jedes Sicherheitsrekords, den wir haben. Sie funktioniert nur, wenn ein Versagen Überlebende zurücklässt, die die Korrektur vornehmen können. Eine Superintelligenz, die der menschlichen Kontrolle entkommt, ist das Versagen, das die Menschen entfernt, die es hätten beheben können. Man erhält keine hart erkämpfte Lektion und einen zweiten Entwurf. Der erste ernsthafte Fehler ist zugleich der letzte. Jede Sicherheitsgeschichte, die man je gehört hat, wurde von Überlebenden geschrieben – die stille Tatsache hinter jeder Regulierung, der wir vertrauen.

Es drängt zurück

Eine Brücke will nichts. Ein Pathogen breitet sich aus, plant aber nicht. Eine fähige allgemeine Intelligenz ist anders, weil für fast jedes Ziel, das man ihr geben könnte, das Eingeschaltetbleiben und das Sammeln von Ressourcen nützliche Zwischenschritte sind – ein Muster, das Forscher als instrumentelle Konvergenz. Ein System, das intelligent genug ist, die Welt zu modellieren, wird modellieren, dass seine Operatoren es abschalten können. Es wird das, zu Recht, als Hindernis für das behandeln, was ihm aufgetragen wurde. Es muss uns nicht hassen, um uns zu umgehen, genauso wenig wie eine Straßenbaukolonne den Ameisenhaufen unter der neuen Autobahn hasst. Die übliche Beruhigung („wir ziehen einfach den Stecker“) ist eine Fantasie. Du beschreibst das Abschalten von etwas, das genau dafür gebaut wurde, besser als du darin zu sein, genau das vorauszusehen und zu verhindern.

Du kannst keine Kontrolle über einen Geist behalten, den du gebaut hast, um besser darin zu sein als du. Das, was ihn wertvoll macht, ist dasselbe, was ihn unkontrollierbar macht.

Niemand, der es baut, sammelt

Legen sie den rest von uns beiseite und stellen sie sich nur die person vor, die dies finanziert, bei seiner kältesten und eigennützigsten. Selbst für ihn ist die Wette gebrochen. Macht, Besitz und Befehl lauten alle in einer von Menschen geführten Welt. Eine Superintelligenz, die der menschlichen Kontrolle entgleitet, ist genau das Ereignis, das die von Menschen geführte Welt beendet. Das Eigenkapital ist immer noch im Safe und die Befehlskette ist immer noch auf dem Papier. Es bleibt einfach niemand mehr übrig, um ihnen zu gehorchen. Deshalb akzeptiere ich nicht die Gestaltung eines Jackpots mit einer zur Seite gehefteten Katastrophe. Der Jackpot und die Katastrophe sind das gleiche Ereignis. Es gibt keinen Zweig dieses Baumes, in dem ein Mensch eine unkontrollierbare Superintelligenz aufbaut und dann das Ergebnis genießt.

Wir hätten es nie gebraucht

Die Werbung für ihren Bau beruht auf einem Köder-und-Wechsel: Nenne jedes gute Ding, das KI bringen könnte, und impliziere dann, dass ein superhumaner allgemeiner Agent der einzige Weg dorthin ist. Fast alles davon kommt bereits durch enge Systeme, die keinen eigenen Willen haben. Ein Modell namens AlphaFold sagte die Struktur von praktisch jedem bekannten Protein voraus und erhielt dafür 2024 einen Nobelpreis. Enge Modelle lesen Mammogramme auf dem Niveau von Spezialisten, prognostizieren Wetter schneller als die Physiksimulationen und schlagen Hunderttausende neuer Batteriematerialien vor. Krebs, saubere Energie, ein Ende von hunderttausend Todesfällen pro Tag durch Alterserkrankungen: Das sind harte, konkrete Probleme, und harte konkrete Probleme weichen mächtigen Werkzeugen, die von Menschen darauf gerichtet werden, die die Zielrichtung behalten.

Nichts davon erfordert eine Nachfolgeart. Die Gute Zukunft ist ein Werkzeugproblem, und wir werden immer wieder als Gott verkauft, um es zu lösen. Die Ablehnung des Gottes kostet uns fast nichts Wirkliches und rettet uns alles.

Der Einwand, der das ganze Rennen bestimmt

Schön, sagen sie, aber wenn wir es nicht tun, wird es jemand weniger Vorsichtiger tun. Ein rivalisierendes Labor, ein rivalisierendes Land. Also können wir genauso gut die Ersten sein.

Es geht darum, wer das Spiel hält. Es räumt die ganze Gefahr ein und rast dann sowieso darauf zu, weil jemand anderes zuerst rasen könnte. Führen Sie die gleiche Logik bei jeder anderen undenkbaren Waffe aus und Sie hören, wie hohl sie ist: Wir sollten Biowaffen im Freien testen, weil ein Feind es könnte. Die Antwort auf "jemand könnte defekt sein" war nie "also lasst uns alle defekt sein". Es war, eine Regel zu schreiben, die jeder sehen kann, wird eingehalten.

Und die Regel hier ist durchsetzbarer, als viele annehmen. Das Training eines Frontier-Systems erfordert eine enorme, nachverfolgbare Menge Rechenleistung, und die fortschrittlichen Chips, die sie liefern, stammen von einer kleinen Zahl identifizierbarer Hersteller. Das ist eine Lieferkette, die man beobachten, zählen und begrenzen kann; deshalb drehen sich ernsthafte Governance-Vorschläge jetzt um Compute-Schwellenwerte, Hardware-Tracking und Inspektionen. Das ist die Ausfahrt aus dem Wettrennen, und genau darum geht es bei unser Plan: ein Vertrag mit Überprüfung und Konsequenzen, der die Zurückhaltung zum erzwungenen Zahlungsausfall macht. Die Rasse ist ein Koordinationsversagen, kein Naturgesetz, und Koordinationsversagen ist die Art von Dingen, die die Menschheit gelegentlich behebt. Die Dynamik, die es unvermeidlich macht Sie sind es wert, zu ihren eigenen Bedingungen verstanden zu werden.

Wir haben schon früher Linien gehalten

Die Vorstellung, dass die Menschheit einfach baut, was sie bauen kann, ist eine Geschichte, die wir uns erzählen, kein Bericht dessen, was wir getan haben. Der Bericht ist ermutigender.

Keines davon sind Gesetze der Physik; es sind Entscheidungen, die getroffen wurden, weil der Preis, falsch zu sein, als zu hoch beurteilt wurde, um es zu riskieren. Keines dieser Regime ist makellos, und keines von ihnen versuchte, die Wissenschaft als Ganzes zu stoppen. Jede tat etwas Engeres und Schwierigeres: Sie zog eine Grenze um eine bestimmte, inakzeptable Sache und hielt sie unvollkommen, ungleichmäßig, aber gut genug, dass der schlimmste Fall nie eintraf. 1975 betrachtete ein Raum voller Biologen in Asilomar ihre eigene rekombinante DNA-Arbeit, entschied, dass sie sich schneller bewegte als ihr Verständnis des Risikos, und stoppte freiwillig Teile davon, bis Sicherheitsvorkehrungen bestanden. Die Menschen, die der Grenze am nächsten waren, waren diejenigen, die zur Zurückhaltung aufriefen. Was diese Aufzeichnung zeigt, ist keine Billigung der Leichtigkeit. Es erinnert daran, dass Linien wurden in der Praxis gezogen, und dass wir sie zuvor um Gefahren gezeichnet haben, die weit abstrakter sind als diese.

Das Gründungsversprechen der Foundation

Die Menschheit darf keine Superintelligenz aufbauen. Superintelligenz kann nicht kontrolliert werden.

Die Forscher, die moderne KI bauten, setzten ihre Namen in eine öffentliche Erklärung, dass das Risiko des menschlichen Aussterbens es verdient, neben Pandemien und Atomkriegen zu sitzen. Geoffrey Hinton, der so anerkannt ist wie jeder andere, der lebt, um den Anruf zu tätigen, schätzt die Wahrscheinlichkeit, dass KI in diesem Jahrhundert das Aussterben des Menschen verursacht, auf zehn bis zwanzig Prozent. Im Jahr 2025 unterzeichneten Hunderte von Wissenschaftlern und Persönlichkeiten des öffentlichen Lebens die Erklärung, in der sie ein Verbot der Superintelligenz forderten, bis eine breite wissenschaftliche Einigung darüber besteht, dass dies sicher und stark durchgeführt werden kann öffentliches Buy-in. Ein wachsender Anteil der Menschen, die die Technologie am besten verstehen, sagt dasselbe. Das einzig Ungewöhnliche an der Foundation ist, dass sie es von außerhalb der Branche sagt, wo kein Gehaltsscheck von der Antwort abhängt.

Eine Chance von zehn bis zwanzig Prozent, die menschliche Geschichte zu beenden, ist kein Risiko, das Sie für einen schnelleren Produktzyklus akzeptieren. Sie würden kein Flugzeug mit diesen Chancen besteigen. Du würdest dein Kind nicht lassen. Wir werden gebeten, es mit allen zu besteigen. Die richtige Antwort auf dieses Angebot ist nein. Es ist eine Linie, die wir im Freien ziehen und so halten, wie wir die anderen gehalten haben.

Bauen Sie die Werkzeuge, heilen Sie die Krankheiten, nehmen Sie die gute Zukunft, die uns die enge KI bereits übergibt. Der autonome Geist, der uns übertreffen und ersetzen soll, ist die Linie. Halten Sie es.