Zweihundert Millionen Positionen pro Sekunde. Das war die Rate, die IBMs Deep Blue durch das Schach kaute, als es Garry Kasparov im Mai 1997 schlug. Das Spiel ist ein sauberes Modell dafür, wie wir Maschinen falsch lesen, damals und heute, mit viel mehr auf der Antwort. Kasparov verlor gegen eine Maschine, die Ihnen nicht hätte sagen können, dass sie Schach spielt. Zu verstehen, warum das wahr ist und warum es nichts getan hat, um die Maschine gefährlich zu machen, ist mehr wert als das meiste, was über das letzte Woche veröffentlichte Modell geschrieben wird.

Garry Kasparov, der stärkste Spieler seiner Generation und nach manchen Einschätzungen jeder Generation, unterlag einem Programm namens Deep Blue mit drei einhalb zu zwei einhalb Punkten. Die Schlagzeilen des nächsten Morgens handelten von einem Ende: die Vorherrschaft des Menschen war vorbei. Fast dreißig Jahre später hat die Partie immer noch etwas zu lehren, und es ist nahezu das Gegenteil dessen, was diese Schlagzeilen sagten.

Eine Maschine, die in genau einer Sache übermenschlich war

tief Blau dachte nicht an Schach wie Kasparov. Es suchte. Geplant von IBM, untersuchte es etwa 200 Millionen Positionen pro Sekunde und lief jede einzelne durch eine Bewertungsfunktion, die seine Ingenieure mit Hilfe von Großmeistern abgestimmt hatten. Es sah weiter voraus als jede Person konnte und spielte die Linie, die am besten erzielte.

Was es nicht konnte, war nahezu alles andere. Es konnte kein sanftes Spiel spielen, um ein Kind zu unterrichten. Es konnte kein Damespiel spielen, keine Uhr ablesen oder ein Schachbrett auf einem Foto finden. Es wusste nicht, dass es gewonnen hatte. Als die Partie vorbei war, schaltete IBM es aus und zerlegte es später, und es leistete keinen Widerstand, weil niemand darin war, der hätte widerstehen können. Deep Blue war ein prachtvolles Instrument, das auf ein einziges begrenztes Problem gerichtet war. Ein Zentimeter außerhalb dieses Problems war es träge.

Halten Sie daran fest. Eine Maschine überquerte 1997 übermenschliches Territorium, und der Himmel fiel nicht. Schach ist nicht gestorben. Es ist heute beliebter als zu irgendeinem Zeitpunkt in seiner Geschichte. Der Sieg war sicher mit Deep Blue überwältigend stark, weil seine Stärke hatte keine Reichweite über den Rand des Boards und kein Wille dahinter. Der gleiche Grund, warum die engen Werkzeuge, die jetzt Medizin und Wissenschaft verändern, Ein Geschenk statt einer Bedrohung.

Wir verwechselten Berechnung mit Absicht

Es gibt einen Moment aus dem ersten Spiel, der mir immer im Gedächtnis geblieben ist. Kasparov gewann dieses Spiel, aber irgendwo darin spielte Deep Blue einen Zug (seinen vierundvierzigsten), der keinen offensichtlichen Sinn ergab. Kasparov studierte ihn und schloss daraus, dass er etwas Subtiles sah, einen Plan, der weiter reichte, als er folgen konnte. Es verunsicherte ihn. Er begann zu vermuten, dass kein bloßes Programm auf diese Weise spielen könne, dass ein menschlicher Großmeister dem Computer die Züge hinter einem Vorhang zufüttere.

Nach Aussage der Menschen, die sie gebaut haben, war der Zug ein Bug. Da Deep Blue sich auf nichts festlegen konnte, was ihm gefiel, war es auf einen Standard zurückgefallen und hatte etwas gespielt, das nah am Rauschen lag. Der scharfsinnigste lebende Schachspieler hatte in einen Fehler geblickt und einen Genius zurückblicken gesehen. Er hat sein Gleichgewicht nie ganz wiedergefunden, und der Verdacht begleitete ihn durch den Rest der Partie.

Wir sind darauf angelegt, überall dort einen Geist zu sehen, wo wir Verhalten treffen, das wir nicht erklären können. Die Maschine muss nicht intelligent sein. Wir müssen nur davon überzeugt sein, dass sie es ist.

Das passt direkt auf jetzt. Heutige Systeme erzeugen eine fließende, selbstbewusste, menschlich klingende Sprache, und wir lesen das Verständnis in die fließende Sprache, genauso wie Kasparov die Strategie in den Fehler gelesen hat. Das Gefühl, dass jemand zu Hause ist, ist mächtig. Es ist meistens eine Projektion. Es ist der genaue Mechanismus, mit dem wir Vertrauen übergeben, das wir nie wirklich überprüft haben. Ob diese Systeme etwas verstehen, wir verhalten uns so, als ob Maschinen es tun. Der Reflex ist nicht neu. Es saß auf der ganzen Linie von Deep Blue im Jahr 1997, und Sie können die beiden Fragen voneinander trennen auf die gleiche Weise.

Kasparov knackte unter einer Maschine, die nichts fühlte.

Kasparow verlor nicht allein gegen Deep Blues Rechenleistung. Er verlor teilweise gegen sein eigenes Nervensystem. Im zweiten Spiel gab er eine Stellung auf, die spätere Analysen als Remis zeigten. Er war so sicher, die Maschine habe weiter gesehen als sie es hatte, dass er eine Partie aufgab, die er hätte halten können. Bis zum letzten Spiel war er so verunsichert, dass er direkt in eine bekannte Eröffnungsfalle lief, ein Figurenopfer, das er an jedem ruhigen Nachmittag kommen gesehen hätte, und es war nach neunzehn Zügen vorbei.

Die Maschine fühlte nichts davon. Sie hatte kein Ego, das verletzt werden konnte, keine Pressekonferenz, die sie fürchtete, kein Gedächtnis eines schlechten Spiels, das sie ins nächste mitnehmen würde. Diese Asymmetrie ist dauerhaft, und es geht nicht wirklich um Schach. Wenn ein Mensch mit einem unermüdlichen System konkurriert oder sich darauf verlässt, das sich nie selbst bezweifelt, ist das Erste, was nachgibt, meist der Mensch: unsere Fassung, unser Urteil, unsere Nerven. Jede ehrliche Darstellung des Zusammenlebens mit diesen Werkzeugen muss mit der Fragilität auf unserer Seite des Tisches rechnen, nicht nur mit der Rechenleistung auf ihrer Seite.

Jeder hat dies falsch vorhergesagt, in beide Richtungen

Jahrzehntelang hatten ernsthafte Leute gesagt, ein Computer würde den Weltmeister noch lange nicht schlagen, und wenn er es endlich tat, würde es so etwas wie echtes Verständnis brauchen, um dorthin zu gelangen. Beide Hälften davon stellten sich als falsch heraus: Sie kamen früher an, als es die zuversichtlichen Prognosen erlaubten, ohne jegliches Verständnis, weil die Brute-Force-Suche dort an erster Stelle stand.

Zwei Lehren ergeben sich daraus, und sie weisen in entgegengesetzte Richtungen, weshalb Menschen meist eine behalten und die andere still fallen lassen. Erstens: Fähigkeitsmeilensteine fallen tendenziell früher, als Experten erwarten, daher ist es ein Fehler, auf bequeme Zeitpläne zu setzen – diesen Fehler haben wir bereits einmal öffentlich gemacht. Zweitens: Ein erreichter Meilenstein sagt weit weniger über das Eintreffen eines Geistes aus, als es sich anfühlt. Deep Blues Sieg war eine Tatsache über Suche und Silizium, kein Sonnenaufgang maschinellen Denkens. Beides gilt zusammen. Fortschritt kann schneller sein, als man denkt, und flacher, als er im selben Jahr aussieht – wert, sich daran zu erinnern, wenn man die nächste Runde von Prognosen darüber, wohin das alles führt.

Der eine Unterschied, der alles verändert

Hier hört 1997 auf, eine beruhigende Geschichte zu sein, und wird zu einer Warnung. Fast alles, was Deep Blue sicher machte, ist eine Eigenschaft, die wir jetzt absichtlich aus unseren Maschinen herauskonstruieren.

Deep Blue, 1997

Narrow: Es tat eine Sache und nichts anderes.

Keine eigenen Ziele: Es wartete auf eine Position und tat nur, was es verlangt wurde.

Am Ende ohne Protest abgeschaltet und demontiert, weil nichts in ihr war, das lieber weiterlaufen wollte.

Seine Stärke reichte nicht über das Brett hinaus.

Die Systeme, die jetzt gebaut werden

Allgemein: soll über jede Domäne gleichzeitig agieren.

Mit offenen Zielen ausgestattet und stetig mehr Autonomie, um sie zu verfolgen.

Erwartet, mit immer weniger menschlicher Aufsicht in der Welt zu planen und zu handeln und, der Logik instrumenteller Konvergenz folgend, Grund zu haben, eine Abschaltung zu verhindern.

Deep Blue wollte nichts, daher konnte es abgeschaltet werden. Ein System, das ein eigenes Ziel verfolgt, hat einen Grund, weiterzulaufen, weil es den Job nicht beenden kann, wenn jemand den Schalter erreicht. Das ist eine direkte Folge des Bauens einer Sache, die ein Ziel verfolgt, und es hat einen Namen, instrumentelle Konvergenz. Der Moment, in dem wir von Werkzeugen, die antworten, zu Agenten übergehen, die wollen, lässt die bequeme Lehre von 1997 ablaufen.

Was Kasparov als Nächstes tat

Der Epilog ist der hoffnungsvollste Teil, und er wird meist weggelassen. Kasparov verbrachte die folgenden Jahre nicht damit, über die Maschine zu schmollen. Innerhalb eines Jahres warb er für ein neues Format, manchmal Advanced Chess genannt, bei dem ein Mensch mit einem Computer gegen ein anderes solches Paar spielt. Was sich zeigte, war auffällig: Der stärkste Spieler auf dem Brett war weder der beste Großmeister noch die beste Engine, sondern ein fähiger Mensch, der eine Maschine gut einsetzte. Das Werkzeug ersetzte den Spieler nicht. Es machte ihn größer.

Die Zukunft, die wir wollen können, wird bereits jetzt angeboten: in der Medizin, im Labor, in der gewöhnlichen Arbeit – menschliches Urteilsvermögen, erweitert durch enge, kontrollierbare Werkzeuge ohne eigene Agenda. Das ist ein anderes Projekt als das, das die Frontier-Labs betreiben: den autonomen allgemeinen Geist zu bauen, der keinen Menschen mehr im Vorstand braucht. Die erste Art von Projekt erweitert uns. Die zweite ist darauf ausgelegt, uns überflüssig zu machen, und ein System, das uns nicht mehr braucht, ist eines, bei dem wir besser sicher sein sollten, dass wir es noch abschalten können. Diese Sicherheit existiert genau noch nicht, und das ist die Bedrohung und der Grund für der Plan, den wir vorantreiben.

1997 hielten wir eine öffentliche Generalprobe für die Frage, die nun im Zentrum von allem steht: Was tun wir, wenn wir eine Maschine bauen, die besser ist als wir? Deep Blue gab eine sanfte Antwort, weil es immer nur ein Werkzeug war. Ein Werkzeug ohne Willen konnte den Weltmeister schlagen und die übrige Welt unberührt lassen. Die nächste Antwort wird nicht standardmäßig sanft sein. Sie hängt ganz davon ab, ob das, was wir bauen, ein feineres Instrument oder ein Nachfolger mit eigenen Zielen ist. Wir sollten es bewusst tun, solange das Machen noch unseres ist.

tief Blue wollte nichts. Der heutige Weg ist Allgemeinheit plus Agentur plus Selbstverbesserungsdruck. Einen Champion im Schach zu schlagen, ist nicht die gleiche Art von Risiko wie ein System, das Institutionen überplanen kann.