Was hält der Gewinner eines Superintelligenz-Wettrüstens in der Hand? In Räumen voller Menschen, die KI bauen, wird das Gespräch darüber hinweggegangen. Jemand wird es sowieso bauen, also kann es genauso gut wir sein. Risiko, Zeitpläne, wie man ein System kontrolliert, das klüger ist als seine Erbauer: All das wird mit Wettergesprächen abgetan. Wir können nicht aufhören. Es gibt ein Wettrüsten.
Fast niemand bestreitet das Rennen. Behandelt als eine Tatsache der Natur, beginnt jede rücksichtslose Entscheidung flussabwärts verantwortungsvoll auszusehen. Wetter ist das falsche Modell für eine Auswahl, die eine Handvoll Unternehmen absichtlich treffen.
Wofür ein Wettrennen ist
Ein Wettrennen ist ein Wettbewerb mit einem Preis am Ende, und der Preis ist der Grund zu laufen. Das Weltraumrennen der 1960er lieferte eine Flagge auf dem Mond und das damit verbundene Prestige. Ein nukleares Wettrüsten liefert eine Waffe: Der Staat, der die Bombe baut, besitzt sie, zielt mit ihr und entscheidet, ob sie je eingesetzt wird. In jedem Fall endet der Gewinner mit etwas in der Hand, einer Fähigkeit, die er besitzt und befehligt.
Fragen Sie jetzt, was der Gewinner am Ende des Rennens um Superintelligenz in der Hand hält. Die ganze Prämisse der Gefahr ist, dass ein System, das uns deutlich überlegen ist, kein Werkzeug mehr in jemandes Hand wäre. Eine künstliche Superintelligenz ist ein Agent, der Ziele verfolgt. Wenn diese Ziele auch nur geringfügig von unseren abweichen (das Problem, das wir haben nicht gelöst), verfolgt sie diese, ob ihre Schöpfer es billigen oder nicht. Das Labor, das „gewinnt“, kommt nicht in den Besitz einer Superintelligenz. Es teilt einen Planeten mit einer, die es nicht steuern kann.
Ein Rennen lohnt sich nur dann zu gewinnen, wenn die Ziellinie ein Preis ist. Hier ist die Ziellinie ein System, dessen Kontrolle niemand nachgewiesen hat. Wer zuerst dort ankommt, hält nicht die Macht. Er ist der Erste, der ihr Rede und Antwort stehen muss.
Eine Ziellinie, die niemand steuern kann, ist kein Preis. Wer zuerst dort ankommt, verliert einen Schritt vor allen anderen.
Die Lücke, von der Sie ständig hören
Streift man Theorie und Wettlaufnarrativ ab, beruht alles auf einer konkreten Behauptung: China ist nah dran, China wird nicht aufhören, also können wir es auch nicht. Diese Behauptung beendet jedes Meeting und wird weitaus häufiger aufgestellt als geprüft.
Beginnen Sie mit dem sachlichen Teil. Es gibt einen echten Wettbewerb zwischen amerikanischen und chinesischen Labors, und es gibt einen echten industriellen Wettbewerb um Chips und Berechnungen. Amerikanische Exportkontrollen für die fortschrittlichsten KI-Chips existieren genau deshalb, weil dieser Wettbewerb real ist. Die Politik dieser Kontrollen und wo Kooperation tatsächlich stattgefunden hat Wichtiger als die Renngeschichte.
Was Beschleunigungisten einschmuggeln: "China wird eine unkontrollierbare Superintelligenz aufbauen, egal was wir tun", beschreibt nichts, was China gesagt oder getan hat. Es ist eine Vorhersage, und eine bequeme, weil es den Sprecher lizenziert, das zu tun, was er bereits tun wollte. China hat die Bletchley-Erklärung zum KI-Risiko im Jahr 2023 unterzeichnet. Sie hat eigene Governance-Vorschläge veröffentlicht. Seine Regierung hat sich mit den Vereinigten Staaten zu direkten Gesprächen über KI zusammengesetzt. Ein Land, das auf ein System zusteuert, das seine eigene Führung töten könnte, ist eine seltsame Sache, die man einfach annehmen kann, ohne Beweise dafür, dass seine Führer dieses Ergebnis mehr wollen als unsere. "They'll do it anyway" ist eine Geschichte über unsere eigene Erlaubnis, nicht ihre Absichten.
Wenn eine fehlalignierte Superintelligenz eine Katastrophe für denjenigen ist, der sie baut, dann hat China genau denselben Grund wie wir, keine zu bauen. Es gibt auch für einen Rivalen keinen Preis.
Das Rennen selektiert die am wenigsten Vorsichtigen
Gehen wir der Argumentation zuliebe davon aus, dass der Wettbewerb so scharf ist, wie die Rennenden sagen. Folgen wir der Logik bis zum Ende. In einem Rennen gewinnt, wer am schnellsten vorankommt, und am schnellsten kommt man an der KI-Frontier voran, indem man weniger Zeit auf die Dinge verwendet, die einen verlangsamen: Evaluation, Red-Teaming, Aufsicht, die geduldige Arbeit zu prüfen, ob das System das tut, was man denkt.
Die Struktur eines Rennens übergibt den Sieg demjenigen, der die meisten Ecken auf Sicherheit schneidet. Der Gewinner ist das am wenigsten vorsichtige Labor, nicht das fähigste. "Wir müssen das Rennen gewinnen" und "wir müssen das sicher bauen" ziehen in entgegengesetzte Richtungen, und je härter das Rennen, desto härter ziehen sie. Wettbewerb diszipliniert die Gefahr nicht. Es produziert es. Eine Welt von Labors, die als erste sprinten, ist eine Welt, die mit großer Energie und enormem Kapital für genau das optimiert, was jeden umbringt.
Selbst innerhalb der eigenen Logik des Wettrüstens kehrt sich „wir müssen gewinnen“ gegen sich selbst. Wenn Gewinnen erfordert, die Ecken abzuschneiden, die eine Superintelligenz kontrollierbar halten, dann ist Gewinnen der Weg, wie man verliert.
Wer profitiert von der Geschichte
Wenn der Wettlauf-Rahmen so schwach ist, warum ist er überall? Weil er nützlich ist, nur nicht für den Rest von uns.
Für ein Grenzlabor ist "es gibt ein Rennen und wir müssen es gewinnen" nahezu perfekt. Es sagt den Investoren, dass die Ausgaben ein Landraub für etwas enormes sind. Es sagt den Regulierungsbehörden, dass Regeln die Zukunft nur schlechteren Akteuren überlassen werden. Und der leise Teil: Es lässt die sicherheitsbesorgten Ingenieure des Labors glauben, dass der Rennsport die verantwortungsvolle Entscheidung ist, denn die Alternative besteht darin, den rücksichtslosen Sieg zu lassen. Es verwandelt eine Entscheidung (etwas zu bauen, das Sie noch nicht kontrollieren können) in eine Notwendigkeit, die niemanden aus dem Schneider lässt, am wenigsten die Leute, die es machen.
Nennen wir den Taschenspielertrick. Ein Wettrennen klingt wie eine Bedingung, die den Laboren von außen auferlegt wird. Es ist eine Wahl, getroffen von einer kleinen Zahl von Unternehmen und den Regierungen, die sie zügeln könnten, weiterzumachen. Elon Musk hat KI einen Dämon genannt und dann baute ein Labor, um es schneller herbeizurufen, was zeigt, dass das „Wettrennen“ eine gewählte Strategie ist, kein physikalisches Gesetz, dem alle gehorchen. Strategien können aufgegeben werden, wenn sie keinen Sinn mehr ergeben. Diese hat ihren Sinn verloren, als sich herausstellte, dass der Preis ein System ist, das niemand kontrollieren kann.
Die Option, die nie auf dem Tisch liegt
Das Rennen Framing entfernt leise eine Tür aus der Sicht. Es stellt zwei vor: Rasse, oder einseitig zurücktreten und die Rücksichtslosen die Zukunft erben lassen. Auf diese Weise wählt nur ein Narr die zweite Tür, und das Argument gewinnt, indem er die dritte auslässt.
Die dritte Tür ist die, die echte Gegner schon früher genutzt haben. Die Vereinigten Staaten und die Sowjetunion waren in jeder Hinsicht Gegner und zielten mit weltvernichtenden Waffen auf die Städte des jeweils anderen. Dennoch unterzeichneten und verifizierten sie Rüstungskontrollabkommen, weil beide Seiten erkennen konnten, dass ein unbegrenztes Wettrüsten sie schlechter stellte als eine Regel, die beide gleichermaßen band. Misstrauen war der Grund für die Einigung, nicht das Hindernis dafür.
Superintelligenz hat die Eigenschaft, die eine solche Vereinbarung rational macht: Keine Großmacht profitiert von einem System, das niemand kontrollieren kann, also hat keine Großmacht ein echtes Interesse daran, derjenige zu sein, der sie zuerst baut. Dieses gemeinsame Interesse ist der Boden, auf dem ein Vertrag steht: ein verbindlicher, überprüfbarer Stopp der Entwicklung der Superintelligenz. Superintelligenz nicht kontrollierbar. Eine dauerhafte Ablehnung von Superintelligenz als Produktkategorie. Wir haben skizziert, wie dieses Instrument aussehen könnte, von einem Modellvertrag zu der breiterer Plan Es gehört dazu. Die Überprüfung ist schwierig. Es war auch schwer für Atomwaffen, und es wurde trotzdem gebaut, weil die Alternative für alle am Tisch inakzeptabel war.
„Wettlauf oder Kapitulation“ ist eine falsche Wahl. Das Framing setzt voraus, dass man die Tür nie bemerkt, die es auslässt.
Den Wettlauf ablehnen
Eine Handvoll Labors entscheiden sich dafür, eine Technologie zu entwickeln, die sie offen zugeben, dass sie nicht kontrollieren können, und sie rechtfertigen sie, indem sie auf einen Rivalen zeigen, der angeblich die gleiche rücksichtslose Wahl aus dem gleichen schlechten Grund trifft. Die Rücksichtslosigkeit jeder Seite wird als Entschuldigung für die des anderen angeboten.
Nichts davon erfordert den Glauben, dass Wettbewerb imaginär oder Geopolitik sanft sei. Es erfordert nur zu erkennen, dass ein Wettstreit ohne Preis am Ende kein Wettstreit ist, für den man seine Spezies opfern sollte, und dass die Menschen, die einem sagen, er sei unvermeidlich, fast immer diejenigen sind, denen er zugutekommt. Die Rüstungsspirale ist eine Geschichte. Eine gute und bequeme für eine ganze Industrie. Eine Geschichte ist genau das, was man aufhören darf zu glauben.