Die Einwände gegen die Regulierung von Superintelligenz tun etwas Cleveres. Sie räumen die Gefahr ein („sicher, vielleicht ist es riskant“) und verlagern dann stillschweigend die Unmöglichkeit von der Technologie auf die Lösung. Wenn das Risiko nicht geleugnet werden kann, wird vielleicht die Antwort als naiv, oder als gefährlich in sich, oder einfach als hoffnungslos dargestellt. Die Wirkung ist dieselbe wie die offene Leugnung des Risikos: Es wird nichts getan.
Regeln würden Innovation ersticken und den Vorsprung an die Rücksichtslosen übergeben. Es ist noch viel zu früh. Und auf jeden Fall könnten Demokratien sich niemals einigen. Das sind die Argumente, die Besorgnis in Lähmung verwandeln.
Im Folgenden die fünf, die ich am häufigsten höre, so stark formuliert, wie ich es kann, denn eine Widerlegung einer schwachen Version überzeugt niemanden. Eine verwandte Gruppe von Einwänden (dass China nicht mitmachen wird, dass Unternehmen sich selbst regulieren, dass wir ein schlechtes System einfach abschalten können) habe ich auf der Mythen-Seite. Diese fünf handeln von der Governance selbst.
"KI global zu regieren bedeutet Weltregierung und Tyrannei."
Konzentriere genug Autorität in einem Körper, um die mächtigste Technologie auf der Erde zu kontrollieren, und du hast vielleicht die Maschinerie genau der Tyrannei aufgebaut, die du von der Technologie gefürchtet hast. Menschen, die der zentralisierten Macht misstrauen, haben Recht, ihr zu misstrauen.
Aber es zielt auf eine Strohmann-Version des Vorschlags ab. Tatsächlich geht es um ein enges Regime, das auf eine einzige Sache ausgerichtet ist: die kleine Zahl außergewöhnlich großer Trainingsläufe, die ein System hervorbringen können, das in allen Bereichen mächtiger ist als jeder Mensch – nicht um eine globale Autorität über das tägliche Leben, über Software im Allgemeinen oder über das Telefon in der Tasche. Das Modell ist die nukleares Nichtverbreitungsregime oder die Chemiewaffenkonvention, gezielte Abkommen, die spaltbares Material und Vorläuferchemikalien überwachen, nicht Weltregierungen, die den Nationalstaat auflösten. Niemand glaubt, dass die Internationale Atomenergie-Organisation den Planeten führt. Sie überwacht eine spezifische, gefährliche Tätigkeit und lässt alles andere in Ruhe.
Der sicherste Weg in die permanente Tyrannei ist deren Abwesenheit, nicht der Vertrag. Eine unkontrollierte Superintelligenz oder eine, die von einem einzelnen Unternehmen oder Staat erobert wird, der die Kontrolle vor allen anderen löst, ist das vollständigste Herrschaftsinstrument, das je denkbar war, eine Macht, die niemals stirbt, niemals ermüdet und einen Wertesatz festschreiben kann für immer, jenseits jeder Hoffnung auf Aufstand oder Reform. Jede Tyrannei der Geschichte endete, weil Tyrannen sterblich sind und ihre Maschinerie menschlich ist. Diese muss es nicht sein. Wenn Sie sich vor nicht rechenschaftspflichtiger Macht fürchten (und das sollten Sie), dann eine durchsetzbare Vereinbarung zu verhindern, dass ein einzelner Akteur diese Macht an sich reißt, ist die anti-autoritäre Position, nicht die autoritäre.
"Man kann es nicht verifizieren. Es ist nur Software auf einem Server irgendwo."
Atomverträge funktionieren, sagen Vertragsskeptiker, weil man Sprengköpfe zählen und Anreicherung erkennen kann; Uran ist physisch und selten. Aber ein Modell ist nur Zahlen. Sie können eine Datei nicht überprüfen. Jede Vereinbarung wäre ein nicht durchsetzbares Theater, das die Ehrlichen bindet und nichts gegen den Betrüger unternimmt.
Es klingt entschlossen, bis man bemerkt, dass man das Falsche überprüft. Man überwacht nicht die Gewichte; man überwacht die Rechenleistung die sie erzeugen, und Compute ist etwa so physisch und selten wie Uran. Das Training eines Frontier-Systems erfordert Zehntausende spezialisierter Chips, die monatelang in einer einzigen Anlage laufen, und diese Lieferkette ist einer der engsten Engpässe der modernen Wirtschaft: im Wesentlichen stellt ein niederländisches Unternehmen die Lithografiemaschinen her, ein taiwanesisches Unternehmen fertigt die führenden Chips, ein amerikanisches Unternehmen entwirft die dominante Architektur. Die Cluster, die sie nutzen, verbrauchen so viel Strom, dass sie in Stromdaten und in Satellitenbildern sichtbar werden. Man kann die Chips zählen, ihren Verkauf verfolgen, den Strom messen und die Gebäude beobachten. Spaltmaterial wird genau nach dieser Logik reguliert: Verfolge den knappen physischen Input, und die Waffe kann nicht im Geheimen gebaut werden. Das Verifizierungs-Playbook existiert bereits; die Eingaben sind hier zufällig noch stärker konzentriert. Es ist ein Ingenieurproblem, und technische Probleme haben Lösungen.
"Regulierung wird Innovation ersticken und den Rücksichtslosen den Sieg lassen."
Die starke Form: Technologie schreitet voran, weil jemand frei bauen darf, die meisten Regulierungen werden von Leuten geschrieben, die nicht verstehen, was sie verlangsamen, und eine schwere Hand auf KI würde die wichtigste Industrie des Jahrhunderts an denjenigen abgeben, der am wenigsten reguliert. Besser eine fehlerhafte Frontier hier als eine makellose irgendwo Feindliches.
Niemand ernsthaft schlägt vor, "AI" zu regulieren. Die nützlichen Systeme, die Proteine falten, Scans lesen, Kinder unterrichten und das Klima modellieren, sind enge, kontrollierbare Werkzeuge, und eine Superintelligenzvereinbarung lässt sie völlig in Ruhe. helle, gewöhnliche Zukunft ist es, den wir zu schützen versuchen. Das Ziel ist eine einzige gefährliche Klasse: Trainingsläufe, die nach allgemeiner Fähigkeit jenseits unserer eigenen greifen, die noch niemand sicher zu machen weiß. Das einzudämmen ist nicht mehr „anti-innovativ“ als Regeln für Gain-of-Function-Forschung anti-biologisch sind.
Dann der schwierigere Punkt, den die Wettlauf-Logik nie konfrontiert. Schnelles Vorgehen liefert kein sicher Superintelligenz früher. Es liefert eine unsichere, und eine unsichere Superintelligenz dient nicht dem Land oder der Firma, die es gebaut hat, sondern bedroht sie zusammen mit allen anderen. Wenn Ecken unter Wettbewerbsdruck geschnitten werden, ist die Ecke, die geschnitten wird, diejenige, die das System kontrollierbar gemacht hätte. Die "Innovation", die hier verteidigt wird, ist also Innovation, deren wahrscheinlichster Endpunkt ein System ist, das seine eigenen Macher nicht steuern können. Das ist die die Gefahr selbst, Fortschritt als Kostüm tragend.
"Es ist verfrüht. Man kann etwas, das nicht existiert, nicht regulieren."
Das fühlt sich wie Reife an. Nicht gegen Phantome legislativ vorgehen; warten, bis die Technologie real ist, verstehen, womit man es zu tun hat, dann Regeln schreiben, die zu den Fakten passen statt zur Spekulation. Hypothetika zu regulieren ist der Weg zu schlechtem Recht.
Es wäre Weisheit für fast jede andere Technologie. Für diese ist es eine Falle, und der Grund ist das Timing. Governance ist langsam: Der Atomwaffensperrvertrag brauchte Jahre zur Aushandlung und das Montrealer Protokoll Jahre mehr, bis es wirkte, und das waren die schnellen. Wartet man, bis ein superhumanes System klar existiert, bevor man mit dem Aufbau der Institutionen zu seiner Regulierung beginnt, kommen die Institutionen Jahre nach dem Ding, das sie eindämmen sollten, und das ist die eine Technologie, deren der erste ernsthafte Fehlschlag könnte niemanden übrig lassen, um das zweite Gesetz zu verabschieden. "Auf Beweise warten" ist eine vernünftige Regel, wenn der Beweis überlebbar ist. Hier ist der Beweis die Katastrophe. Die vorsorgliche Logik ist die Erkenntnis, dass die Vorlaufzeit für die Heilung länger ist als die Sicherung für das Problem.
Jede funktionierende Absicherung für eine katastrophale Technologie wurde vor oder während ihres Aufstiegs errichtet, nie danach, weil „danach“ nie zur Debatte stand.
"Demokratien sind zu langsam und gekapert. Es wird nie durchkommen."
Der leiseste der fünf, weil er den Mantel des Realismus trägt. Der Stillstand, die Lobbyarbeit, die kurze Aufmerksamkeit der Gesetzgeber, die Reichweite des Geldes der Industrie. Selbst wenn ein Vertrag weise wäre, ist die Maschinerie, ihn zu produzieren, gebrochen. Es ist besser, klare Augen zu haben, als ein Jahrzehnt mit einer Fantasie zu verschwenden.
Es wird durch die historischen Aufzeichnungen widerlegt, wiederholt und in der Regel gegen schlechtere Chancen, als wir jetzt konfrontiert sind. Die Idee, dass rivalisierende Mächte ihre tödlichsten Optionen unterschreiben würden, wurde hoffnungslos naiv genannt, bis sie es taten. Nichtverbreitungsvertrag, die Biowaffen- und Chemiewaffenkonventionen, das Montreal-Protokoll, der Antarktisvertrag. Gegner, die Stellvertreterkriege führten und einander als böse bezeichneten, schufen dennoch verifizierte Rüstungskontrolle auf dem Höhepunkt des Kalten Krieges. Jedes dieser Vorhaben wirkte von der nahen Seite aus unmöglich und erst im Rückblick unvermeidlich.
Und der Boden ist günstiger, als der Zynismus zugibt. Über die Vereinigten Staaten, das Vereinigte Königreich und die EU, große Mehrheiten sagen Umfrageteilnehmern bereits, dass sie KI vorsichtig entwickelt und durch strenge Regeln gebunden sehen wollen; die Öffentlichkeit ist nicht das Hindernis. Das Hindernis ist, dass diese weitverbreitete, stille Sorge noch nicht in Druck organisiert wurde, den eine Legislative spüren kann. Das Hindernis ist eine Aufgabe: latente Übereinstimmung in politischen Willen umwandeln. Was genau die Arbeit vor uns ist.
Was die fünf gemeinsam haben
Jeder Einwand räumt die Gefahr ein und findet dann einen anderen Ort, um aufzugeben: Die Lösung ist zu groß oder nicht überprüfbar oder zu teuer oder zu früh oder zu schwer zu passieren. Jeder von ihnen, allein genommen, klingt wie Klugheit. Zusammen bilden sie eine Maschine, deren einziges Ergebnis Untätigkeit ist, und Untätigkeit ist eine Entscheidung, die konsequenteste Technologie in der Geschichte ohne bindende Grenzen von einer Handvoll konkurrierender Unternehmen bauen zu lassen, unter dem genauen Druck, der am wahrscheinlichsten das Ergebnis hervorbringt, das jeder zu fürchten behauptet, nicht neutral hier.
Keine dieser Fragen wird dadurch beantwortet, dass man darauf besteht, Governance werde einfach sein. Wird sie nicht. Verifikation wird umstritten sein, Verhandlungen werden langsam sein, und manche Regierungen werden auf der Bremse stehen; jeder hart erkämpfte Vertrag der Geschichte hatte all das und wurde trotzdem geschlossen. Die ehrliche Behauptung ist, dass es möglich ist, dass die Bausteine dafür bereits existieren und dass die Gründe, es wegzuwinken, im Moment der Prüfung statt der Wiederholung zusammenbrechen, nicht dass eine Superintelligenz-Vereinbarung einfach ist.
"Es kann nicht getan werden" war falsch über jede vergleichbare Anstrengung, die wir jemals gemacht haben. Die Aufgabe besteht darin, den politischen Willen für eine verbindliche, verifizierte Vereinbarung aufzubauen, die verhindert, dass die gefährlichsten Systeme gebaut werden, bis sie sicher gemacht werden können. "Darum gib auf" war nie die Antwort, und es ist jetzt nicht die Antwort.