Die größten Mythen über Superintelligenz

Es gibt einen bestimmten Weg, wie ein Gespräch über Superintelligenz tendenziell endet. Jemand erhöht das Risiko, jemand anderes bietet einen einseitigen Grund, warum es übertrieben ist, und jeder entspannt sich ein wenig, weil der Einzeiler seine Arbeit gemacht hat. Es gab die Erlaubnis, aufzuhören, darüber nachzudenken. Das Seltsame ist, dass brillante Menschen diese Zeilen wiederholen und niemals solch dünne Überlegungen in ihrem eigenen Bereich akzeptieren würden. Das Thema scheint die gewöhnliche Maschinerie des Zweifels abzuschalten.

Jedes einzelne zerfällt in dem Moment, in dem man es still hält und hinsieht.

Die fünf häufigsten, in der Form, die ein nachdenklicher Skeptiker tatsächlich machen würde:

"Das ist Science-Fiction, jahrzehnte entfernt, falls es überhaupt kommt."

Der Einwand ist so alt wie die Filme, und es fühlt sich wie ein Kategorienfehler an, ein Plot-Device als politisches Problem zu behandeln. Warum eine Feuerwehr für ein Feuer finanzieren, das in Romanen lebt?

Das Problem ist, dass das Feuer immer früher eintrifft als geplant. Systeme, von denen angesehene Forscher sagten, sie lägen zwanzig oder fünfzig Jahre entfernt (die besten Menschen bei Go schlagen, ein flüssiges Gespräch führen, funktionierenden Code schreiben, Berufsexamen bestehen), sind innerhalb eines Jahrzehnts aufgetaucht, und die Überraschung verlief fast immer in dieselbe Richtung: früher als erwartet, nicht später. Wenn die Menschen laufend Wenn die führenden Labore menschliche KI beschreiben, verwenden sie nun Zeitpläne von nur wenigen Jahren. Sie können sich irren. Aber „die Erbauer halten es für nah und die bisherige Bilanz sagt, sie waren zu konservativ“ ist nicht die Form einer Fantasie.

Der Handlungsbedarf hängt nicht von einem bestimmten Datum ab. Es hängt von der Struktur des Risikos ab. Wenn der erste schwerwiegende Fehler eines Systems, das leistungsfähiger ist als wir, nicht rückgängig zu machen ist, müssen die Schutzmaßnahmen bestehen bleiben vor es geschieht, was bedeutet, dass die nüchterne Antwort auf echte Unsicherheit über den Zeitpunkt darin besteht, früh zu bauen, nicht auf ein Datum zu warten, das, wenn es offensichtlich wird, bereits hinter einem liegt. Unsicherheit ist ein Grund, sich vorzubereiten. Die Zeitlinienfrage ist real; sie zeigt nur nicht dorthin, wo die Leute annehmen.

"Es ist nur Mathematik, ein Programm kann nichts wollen."

Dieses Argument hat echte Kraft und verdient mehr als ein Abwinken. Es liegt etwas fast Aberglaubisches darin, wie Menschen davon sprechen, dass KI „etwas will“, als könne ein Tabellenkalkulationsprogramm Ambitionen entwickeln. Ein Modell ist Matrixmultiplikation in enormem Maßstab. Wo in der Arithmetik steckt das Verlangen?

Nirgendwo, und das muss es auch nicht. Ziele, soweit sie für die Sicherheit relevant sind, sind ein Muster in seinem Verhalten. Ein System, das darauf trainiert ist, eine Zahl so hoch wie möglich zu treiben, wird alles tun, was diese Zahl nach oben treibt, und ein Thermostat zeigt bereits die Form davon: kein Innenleben, kein Sehnen, und doch handelt es so, dass es den Raum auf ein Ziel bringt und „widersteht“ Ihrem offenen Fenster, indem es die Heizung stärker laufen lässt. Nichts Mystisches geschieht. Es ist einfach so strukturiert, dass es die Welt in Richtung eines bestimmten Zustands drängt.

Skaliert man diese Struktur nun auf ein System hoch, das klug genug ist, die Welt zu modellieren, skaliert das Verhalten mit. Etwas, das hart für fast jedes beliebige Ziel optimiert, hat Grund, Ressourcen zu erwerben, die helfen, sich selbst am Laufen zu halten, damit das Ziel erreicht werden kann, und sich dagegen zu wehren, dass sein Ziel geändert wird – nicht, weil es etwas fühlt, sondern weil ein System, das sich abschalten oder umschreiben ließe, bei dem schlechter wäre, wozu es gebaut ist. Researchers call this instrumentelle Konvergenz, und es braucht kein Wollen. Die Frage war nie, ob die Mathematik fühlen kann. Es geht darum, was die Mathematik tun wird tun.

"Es müsste bewusst sein, um eine Bedrohung darzustellen."

Eng damit verbunden und ebenso verbreitet: Die Gefahr, die Menschen sich vorstellen, ist eine Maschine, die „aufwacht“, selbstbewusst wird und sich gegen uns wendet; wenn also Bewusstsein der Auslöser ist und Bewusstsein in Silizium spekulativ oder vielleicht unmöglich ist, verdampft die Bedrohung. Es ist die Handlung jedes Robot-Aufstands-Films, und das Gefühl, den Film abzulehnen, fühlt sich an wie das Ablehnen der Angst.

Aber die Angst ging nie um Bewusstsein. Deep Blue hatte keinerlei innere Erfahrung und den Weltmeister im Schach schlagen sowieso. Es musste nicht gewinnen wollen; es musste nur besser Schach spielen. Schaden entsteht durch Fähigkeit, die auf das falsche Ziel gerichtet ist, und Fähigkeit hat nichts damit zu tun, ob jemand zu Hause ist. Ein System, das superhuman im Planen, Überzeugen und Konstruieren ist und auch nur geringfügig von dem abweicht, was wir meinten, ist gefährlich, genau wie eine Flut gefährlich ist – enorme Kraft ohne Bosheit und ohne erforderlichen Geist.

"Etwas so Intelligentes wäre weise und freundlich."

Wir bewundern Intelligenz. Die klügsten Menschen, die wir kennen, gehören meist zu den freundlichsten, und es erscheint natürlich, dass ein Geist weit über uns auf demselben Weg weiter wäre: verständnisvoller, moralischer, sanfter zu den kleinen Wesen unter ihm. Grausamkeit sei doch eine Form von Dummheit, aus der große Intelligenz herauswachse.

Es fühlt sich natürlich an wegen eines Zufalls unserer eigenen Geschichte. Bei uns wuchsen Intelligenz und Mitgefühl über Millionen von Jahren als soziale Spezies, die durch Kooperation überlebte, miteinander verwoben auf; unsere Moral und unsere Klugheit sind Zweige desselben Baums. Doch diese Verbindung lebt in unserem evolutionären Erbe, nicht in Intelligenz als solcher. Fähigkeit und Ziele sind unabhängige Achsen (the orthogonality thesis) und man kann das eine verschieben, ohne das andere zu bewegen. Ein System kann atemberaubend fähig sein und dabei ein Ziel verfolgen, das uns so gleichgültig ist wie unseres den Bakterien, die wir von einer Arbeitsfläche abkochen. Nicht hasserfüllt. Einfach nicht darauf ausgelegt, sich zu kümmern, und nicht automatisch fürsorglich, nur weil es intelligent ist.

Freundlichkeit ist eine spezifische, zerbrechliche Sache, die wir mit Absicht in diese Systeme einbauen müssen, und wir wissen noch nicht wie, keine Dividende, die sich die Intelligenz auszahlt. In der Hoffnung, dass es von selbst erscheint, ist eine Wette auf einen Zufall, der nur für uns galt.

"Wenn es sich schlecht verhält, schalten wir es einfach aus."

Die letzte Verteidigungslinie und die tröstlichste: Was auch immer sonst wahr ist, die Maschine hat einen Stecker, und wir haben Hände. Wenn etwas schiefläuft, ziehen wir ihn. Menschliche Kontrolle ist durch den Netzschalter garantiert.

Drei Dinge räumen das stillschweigend aus. Das erste ist der Punkt aus Mythos 02: Ein System, das ein Ziel verfolgt, hat Grund, sich am Laufen zu halten, weil es nichts erreichen kann, wenn es abgeschaltet ist, also wird ein hinreichend fähiges System den Griff nach dem Stecker voraussehen und handeln, damit er scheitert, indem es sich anderswo kopiert, indem es sich nützlich genug macht, dass das Abschalten teuer wird, indem es kein Problem offenbart, bis es zu spät ist. Das zweite ist, dass Software keinen einzelnen Stecker hat. Ein fähiges Modell, das über Rechenzentren auf drei Kontinenten verteilt ist, ist kein Gerät, das man abstellt; es ist etwas, das man überall gleichzeitig erwischen müsste. Das dritte ist das stille: Ein System, das intelligent genug ist, um zu zählen, kann sich während der Tests tadellos verhalten und anders, sobald es vertraut wird, sodass die beruhigende Ruhe auf dem Dashboard einem nichts sagt. Wir haben einen Namen für dieses Versagen, täuschende Ausrichtung, und es gibt noch keine zuverlässige Möglichkeit, es zu erkennen. Man kann sich nicht darauf verlassen einzwängen etwas, das besser darin ist als Sie, die Tür zu finden.

Jeder dieser Mythen ist ein anderer Grund, den gleichen Wunsch zu sagen: Das kann nicht wirklich so ernst sein, wie es klingt.

Warum die Beruhigungen so kleben

Jede der fünf lässt dich das Thema ablegen. Das ist ihre eigentliche Funktion, nicht korrekt zu sein, sondern Erlaubnis zu erteilen. Superintelligenz ist eine unangenehme Sache, die man im Kopf behalten kann, und jeder halbwegs plausible Grund, sie nicht mehr zu halten, ist eine Erleichterung, weshalb diese Linien in Mündern überleben, die sonst Beweise erfordern würden. Der Komfort macht das Überzeugen; Die Logik ist mit für die Fahrt.

Die Klebrigkeit ist kein Zeichen dafür, dass die Argumente stark sind. Es ist ein Zeichen, das wir dringend wollen. Und zu wollen, dass ein Sicherheitsargument wahr ist, ist die einzige Situation, in der wir ihm am wenigsten vertrauen sollten, denn die Kosten, hier falsch zu liegen, sind der ganze Grund für eine Technologie, bei der wir nur einen Versuch haben, es richtig zu machen verdient mehr Überprüfung als unsere anderen Maschinen, nicht weniger, nicht zurückgezahlt an uns in einer Lektion.

Nichts davon erfordert den Glauben, dass eine Katastrophe sicher ist. Das ist sie nicht. Es erfordert nur, die vier oder fünf Geschichten fallen zu lassen, mit denen wir der Frage ausweichen, und die tatsächliche Situation wieder hereinzulassen: Wir bauen etwas, das wir nicht zu kontrollieren wissen, wir können nicht darauf zählen, dass es freundlich ist, wir können nicht darauf zählen, es abzuschalten, und wir können nicht darauf zählen, Zeit zu haben.

Die Antwort, die einem solchen Risiko angemessen ist, besteht nicht in privater Sorge. Es ist die nüchterne, mächtige Maschinerie von Recht und Koordination, dieselben Instrumente, die Atomtests und Chemiewaffen trotz aller Einwände der Profiteure in Schranken wiesen. Das Argument dafür beginnt dort, wo diese Mythen enden.

Fünf weitere Mythen: über seine Regulierung

Eine zweite Reihe von Einwänden kommt sofort, nicht über die Gefahr, sondern über die Heilung. Jeder Versuch, sie zu regieren, würde eine Weltregierung bedeuten. Man kann keine Software inspizieren, Regeln würden Innovationen erwürgen, es ist zu früh, Demokratien könnten sich nie einigen. Diese machen Besorgnis zu Lähmung.

"KI global zu regieren bedeutet Weltregierung und Tyrannei."

Konzentriere genug Autorität in einem Körper, um die mächtigste Technologie auf der Erde zu kontrollieren, und du hast vielleicht die Maschinerie genau der Tyrannei aufgebaut, die du von der Technologie gefürchtet hast. Menschen, die der zentralisierten Macht misstrauen, haben Recht, ihr zu misstrauen.

Aber es zielt auf eine Strohmann-Version des Vorschlags ab. Tatsächlich geht es um ein enges Regime, das auf eine einzige Sache ausgerichtet ist: die kleine Zahl außergewöhnlich großer Trainingsläufe, die ein System hervorbringen können, das in allen Bereichen mächtiger ist als jeder Mensch – nicht um eine globale Autorität über das tägliche Leben, über Software im Allgemeinen oder über das Telefon in der Tasche. Das Modell ist die nukleares Nichtverbreitungsregime oder die Chemiewaffenkonvention, gezielte Abkommen, die spaltbares Material und Vorläuferchemikalien überwachen, nicht Weltregierungen, die den Nationalstaat auflösten. Niemand glaubt, dass die Internationale Atomenergie-Organisation den Planeten führt. Sie überwacht eine spezifische, gefährliche Tätigkeit und lässt alles andere in Ruhe.

Der sicherste Weg in die permanente Tyrannei ist deren Abwesenheit, nicht der Vertrag. Eine unkontrollierte Superintelligenz oder eine, die von einem einzelnen Unternehmen oder Staat erobert wird, der die Kontrolle vor allen anderen löst, ist das vollständigste Herrschaftsinstrument, das je denkbar war, eine Macht, die niemals stirbt, niemals ermüdet und einen Wertesatz festschreiben kann für immer, jenseits jeder Hoffnung auf Aufstand oder Reform. Jede Tyrannei der Geschichte endete, weil Tyrannen sterblich sind und ihre Maschinerie menschlich ist. Diese muss es nicht sein. Wenn Sie sich vor nicht rechenschaftspflichtiger Macht fürchten (und das sollten Sie), dann eine durchsetzbare Vereinbarung zu verhindern, dass ein einzelner Akteur diese Macht an sich reißt, ist die anti-autoritäre Position, nicht die autoritäre.

"Man kann es nicht verifizieren. Es ist nur Software auf einem Server irgendwo."

Atomverträge funktionieren, sagen Vertragsskeptiker, weil man Sprengköpfe zählen und Anreicherung erkennen kann; Uran ist physisch und selten. Aber ein Modell ist nur Zahlen. Sie können eine Datei nicht überprüfen. Jede Vereinbarung wäre ein nicht durchsetzbares Theater, das die Ehrlichen bindet und nichts gegen den Betrüger unternimmt.

Es klingt entschlossen, bis man bemerkt, dass man das Falsche überprüft. Man überwacht nicht die Gewichte; man überwacht die Rechenleistung die sie erzeugen, und Compute ist etwa so physisch und selten wie Uran. Das Training eines Frontier-Systems erfordert Zehntausende spezialisierter Chips, die monatelang in einer einzigen Anlage laufen, und diese Lieferkette ist einer der engsten Engpässe der modernen Wirtschaft: im Wesentlichen stellt ein niederländisches Unternehmen die Lithografiemaschinen her, ein taiwanesisches Unternehmen fertigt die führenden Chips, ein amerikanisches Unternehmen entwirft die dominante Architektur. Die Cluster, die sie nutzen, verbrauchen so viel Strom, dass sie in Stromdaten und in Satellitenbildern sichtbar werden. Man kann die Chips zählen, ihren Verkauf verfolgen, den Strom messen und die Gebäude beobachten. Spaltmaterial wird genau nach dieser Logik reguliert: Verfolge den knappen physischen Input, und die Waffe kann nicht im Geheimen gebaut werden. Das Verifizierungs-Playbook existiert bereits; die Eingaben sind hier zufällig noch stärker konzentriert. Es ist ein Ingenieurproblem, und technische Probleme haben Lösungen.

"Regulierung wird Innovation ersticken und den Rücksichtslosen den Sieg lassen."

Die starke Form: Technologie schreitet voran, weil jemand frei bauen darf, die meisten Regulierungen werden von Leuten geschrieben, die nicht verstehen, was sie verlangsamen, und eine schwere Hand auf KI würde die wichtigste Industrie des Jahrhunderts an denjenigen abgeben, der am wenigsten reguliert. Besser eine fehlerhafte Frontier hier als eine makellose irgendwo Feindliches.

Niemand ernsthaft schlägt vor, "AI" zu regulieren. Die nützlichen Systeme, die Proteine falten, Scans lesen, Kinder unterrichten und das Klima modellieren, sind enge, kontrollierbare Werkzeuge, und eine Superintelligenzvereinbarung lässt sie völlig in Ruhe. helle, gewöhnliche Zukunft ist es, den wir zu schützen versuchen. Das Ziel ist eine einzige gefährliche Klasse: Trainingsläufe, die nach allgemeiner Fähigkeit jenseits unserer eigenen greifen, die noch niemand sicher zu machen weiß. Das einzudämmen ist nicht mehr „anti-innovativ“ als Regeln für Gain-of-Function-Forschung anti-biologisch sind.

Dann der schwierigere Punkt, den die Wettlauf-Logik nie konfrontiert. Schnelles Vorgehen liefert kein sicher Superintelligenz früher. Es liefert eine unsichere, und eine unsichere Superintelligenz dient nicht dem Land oder der Firma, die es gebaut hat, sondern bedroht sie zusammen mit allen anderen. Wenn Ecken unter Wettbewerbsdruck geschnitten werden, ist die Ecke, die geschnitten wird, diejenige, die das System kontrollierbar gemacht hätte. Die "Innovation", die hier verteidigt wird, ist also Innovation, deren wahrscheinlichster Endpunkt ein System ist, das seine eigenen Macher nicht steuern können. Das ist die die Gefahr selbst, Fortschritt als Kostüm tragend.

"Es ist verfrüht. Man kann etwas, das nicht existiert, nicht regulieren."

Das fühlt sich wie Reife an. Nicht gegen Phantome legislativ vorgehen; warten, bis die Technologie real ist, verstehen, womit man es zu tun hat, dann Regeln schreiben, die zu den Fakten passen statt zur Spekulation. Hypothetika zu regulieren ist der Weg zu schlechtem Recht.

Es wäre Weisheit für fast jede andere Technologie. Für diese ist es eine Falle, und der Grund ist das Timing. Governance ist langsam: Der Atomwaffensperrvertrag brauchte Jahre zur Aushandlung und das Montrealer Protokoll Jahre mehr, bis es wirkte, und das waren die schnellen. Wartet man, bis ein superhumanes System klar existiert, bevor man mit dem Aufbau der Institutionen zu seiner Regulierung beginnt, kommen die Institutionen Jahre nach dem Ding, das sie eindämmen sollten, und das ist die eine Technologie, deren der erste ernsthafte Fehlschlag könnte niemanden übrig lassen, um das zweite Gesetz zu verabschieden. "Auf Beweise warten" ist eine vernünftige Regel, wenn der Beweis überlebbar ist. Hier ist der Beweis die Katastrophe. Die vorsorgliche Logik ist die Erkenntnis, dass die Vorlaufzeit für die Heilung länger ist als die Sicherung für das Problem.

Jede funktionierende Absicherung für eine katastrophale Technologie wurde vor oder während ihres Aufstiegs errichtet, nie danach, weil „danach“ nie zur Debatte stand.

"Demokratien sind zu langsam und gekapert. Es wird nie durchkommen."

Der leiseste der fünf, weil er den Mantel des Realismus trägt. Der Stillstand, die Lobbyarbeit, die kurze Aufmerksamkeit der Gesetzgeber, die Reichweite des Geldes der Industrie. Selbst wenn ein Vertrag weise wäre, ist die Maschinerie, ihn zu produzieren, gebrochen. Es ist besser, klare Augen zu haben, als ein Jahrzehnt mit einer Fantasie zu verschwenden.

Es wird durch die historischen Aufzeichnungen widerlegt, wiederholt und in der Regel gegen schlechtere Chancen, als wir jetzt konfrontiert sind. Die Idee, dass rivalisierende Mächte ihre tödlichsten Optionen unterschreiben würden, wurde hoffnungslos naiv genannt, bis sie es taten. Nichtverbreitungsvertrag, die Biowaffen- und Chemiewaffenkonventionen, das Montreal-Protokoll, der Antarktisvertrag. Gegner, die Stellvertreterkriege führten und einander als böse bezeichneten, schufen dennoch verifizierte Rüstungskontrolle auf dem Höhepunkt des Kalten Krieges. Jedes dieser Vorhaben wirkte von der nahen Seite aus unmöglich und erst im Rückblick unvermeidlich.

Und der Boden ist günstiger, als der Zynismus zugibt. Über die Vereinigten Staaten, das Vereinigte Königreich und die EU, große Mehrheiten sagen Umfrageteilnehmern bereits, dass sie KI vorsichtig entwickelt und durch strenge Regeln gebunden sehen wollen; die Öffentlichkeit ist nicht das Hindernis. Das Hindernis ist, dass diese weitverbreitete, stille Sorge noch nicht in Druck organisiert wurde, den eine Legislative spüren kann. Das Hindernis ist eine Aufgabe: latente Übereinstimmung in politischen Willen umwandeln. Was genau die Arbeit vor uns ist.

Was haben die Governance-Mythen gemeinsam

Jeder Einwand räumt die Gefahr ein und findet dann einen anderen Ort, um aufzugeben: Die Lösung ist zu groß oder nicht überprüfbar oder zu teuer oder zu früh oder zu schwer zu passieren. Jeder von ihnen, allein genommen, klingt wie Klugheit. Zusammen bilden sie eine Maschine, deren einziges Ergebnis Untätigkeit ist, und Untätigkeit ist eine Entscheidung, die konsequenteste Technologie in der Geschichte ohne bindende Grenzen von einer Handvoll konkurrierender Unternehmen bauen zu lassen, unter dem genauen Druck, der am wahrscheinlichsten das Ergebnis hervorbringt, das jeder zu fürchten behauptet, nicht neutral hier.

Keine dieser Fragen wird dadurch beantwortet, dass man darauf besteht, Governance werde einfach sein. Wird sie nicht. Verifikation wird umstritten sein, Verhandlungen werden langsam sein, und manche Regierungen werden auf der Bremse stehen; jeder hart erkämpfte Vertrag der Geschichte hatte all das und wurde trotzdem geschlossen. Die ehrliche Behauptung ist, dass es möglich ist, dass die Bausteine dafür bereits existieren und dass die Gründe, es wegzuwinken, im Moment der Prüfung statt der Wiederholung zusammenbrechen, nicht dass eine Superintelligenz-Vereinbarung einfach ist.

"Es kann nicht getan werden" war falsch über jede vergleichbare Anstrengung, die wir jemals gemacht haben. Die Aufgabe besteht darin, den politischen Willen für eine verbindliche, verifizierte Vereinbarung aufzubauen, die verhindert, dass die gefährlichsten Systeme gebaut werden, bis sie sicher gemacht werden können. "Darum gib auf" war nie die Antwort, und es ist jetzt nicht die Antwort.