Ich bin ein Optimist. Sicherlich wird die menschliche Rasse nicht aussterben. Das ist noch nie zuvor passiert.
Sie hören es nach Sicherheitstafeln, in Greenrooms und Kommentarfäden, normalerweise mit einem Lächeln, das das Thema schließen soll. Das Lächeln macht echte soziale Arbeit. Es malt Vorsicht als Persönlichkeitsfehler und Momentum als emotionale Gesundheit. Es schmuggelt auch einen Risikoanspruch in einer Stimmung.
Optimismus ist erlaubt. Was nicht erlaubt ist, wenn wir immer noch ernsthafte Arbeit leisten, ist, ein Temperament als Beweis zu behandeln.
Was "nie zuvor passiert" ist, sagt tatsächlich
Menschliches Aussterben hat definitionsgemäß keine menschlichen Zeugen danach. Jede lebende Person nimmt Proben von den Zeitlinien, in denen sich die Arten fortsetzten. Nennen Sie es Auswahl, nicht Philosophie: Ein Lotteriegewinner ist eine schlechte Quelle für die Gewinnchancen, und "Ich bin noch nie bei einem Autounfall gestorben" ist ein schlechtes Argument gegen Sicherheitsgurte.
Der Fossilienbestand ist weniger sentimental. Die überwiegende Mehrheit der Arten, die jemals gelebt haben, sind verschwunden. Mehrere Massensterben räumten das Board für das, was als nächstes kam. Homo sapiens CAS-Nr. ist jung in der geologischen Zeit und ist bereits durch Engpässe, Plagen und Kriege gegangen, die uns in einem kälteren Würfelwurf hätten beenden können. "Nie zuvor passiert" ist eine Aussage über das dünne Stück Geschichte, das wir noch diskutieren können. Es ist kein Schild.
Erste Zeiten sind das, woraus Katastrophen gemacht werden
Vor 1945 war keine Stadt durch eine einzige Bombe zerstört worden. Vor 1918 hatte keine Pandemie globale Schienen- und Schiffsnetze mit dieser Geschwindigkeit gefahren. Vor den 1980er Jahren hatte niemand das menschliche Experiment durchgeführt, die Schicht zu verdünnen, die verhindert, dass ultraviolettes Licht die Oberfläche sterilisiert. Jedes davon war vorher etwas, was noch nie zuvor geschehen war. Die Personen, die handelten, warteten nicht darauf, dass eine abgeschlossene Instanz als Fallstudie zur Verfügung stand.
Künstliche Superintelligenz sitzt in diesem Eimer. Es gibt keine historische Reihe falsch ausgerichteter Superintelligenzen, um sie zu mitteln. Es gibt einen Mechanismus: Systeme, die Ziele verfolgen, ihre eigenen Fähigkeiten verbessern und schließlich die Institutionen, die sie korrigieren sollen, übertreffen. Mechanismus ist das, was Sie verwenden, wenn Basiszinsen schweigen. Die Forderung nach einem vorherigen menschlichen Aussterben von AI, bevor Sie den Mechanismus ernst nehmen, fordert die Leiche vor der Diagnose.
Jede erste Katastrophe sieht im Voraus wie etwas aus, das noch nie zuvor passiert ist. Das ist die Beschreibung der Kategorie, keine Beruhigung.
Optimismus, richtig ausgerichtet
Es gibt eine Version von Optimismus, die ich respektiere. Darin steht: Die Menschen haben sich schon einmal unter Druck koordiniert. Verträge haben Bestand. Industrien waren gezwungen, den Kurs zu ändern, als die Wissenschaft klar war und die Politik organisiert wurde. Die Aufzeichnung der Rückhalteeinrichtung ist real, von der nuklearen Rüstungskontrolle bis zu den Chemikalien, die die Ozonschicht fraßen. Dieser Optimismus zeigt auf Agentur. Sie geht davon aus, dass die Zukunft noch eine Entscheidung ist.
Die Greenroom-Version tut das Gegenteil. Es behandelt Überleben als Standardeinstellung des Universums und Sorge als schlechte Manieren. Es verwechselt "Ich bevorzuge gute Ergebnisse" mit "gute Ergebnisse sind daher wahrscheinlich". Präferenz ist keine Wahrscheinlichkeit.
Als Geoffrey Hinton, Yoshua Bengio und Hunderte von Forschern das Risiko des Aussterbens auf die gleiche Liste setzten wie Pandemien und Atomkriege, taten sie die langweilige Sache, die Experten tun, wenn ein Mechanismus gesund aussieht und der Nachteil total ist, und sprachen in einer Tech-Keynote nicht nach Schurken vor. Sie können mit ihren zahlen nicht einverstanden sein. Sie können die Kategorie nicht ablehnen, indem Sie Ihren Persönlichkeitstyp ankündigen.
Die Kosten des Zuckens
Der Schulterzucken macht Arbeit für Menschen, die den Build brauchen, um ohne Kampf weiterzumachen. Wenn Extinktionsgespräche als Vibe-Problem umgestaltet werden, besteht der einzige höfliche Schritt darin, das Thema wieder in Produktivität und Apps zu ändern. Währenddessen skalieren die Labs, die Evals hinken und die Kontrollproblem bleibt ungelöst. Stimmung wurde mit Governance verwechselt.
Ich möchte, dass das menschliche Projekt weitergeht. Das ist der ganze Grund, warum diese Stiftung existiert. Es zu wollen, ist die leichte Hälfte. Die härtere Hälfte lehnt einen Entwicklungspfad ab, der unkorrigierbare Macht in Systemen konzentriert, die niemand zuverlässig abschalten kann, und macht die politische Arbeit Bindungsstopp erfordert. Nennen Sie das Optimismus, wenn das Wort noch etwas bedeutet. Wenn es nur bedeutet "hör auf, über den Nachteil zu reden", ist es zu einem Schlaflied geworden.
Das Aussterben ist uns noch nie zuvor passiert. Das ist der Anfangszustand jeder Geschichte, die schlecht endet. Es ist kein Argument, dass dieses gut enden wird.
Gemeinsame Fragen.
Hat die Menschheit nicht jede vergangene Vorhersage des Untergangs überlebt?
Die Menschheit hat die Risiken überlebt, die sie überlebt hat. Das ist eine Tautologie, keine Prognose. Wir haben auch eine lange Geschichte von Artensterben, zivilisatorischen Zusammenbrüchen und Beinahe-Verfehlungen mit Technologien, die uns hätten beenden können. Vergangenes Überleben ist das, was Sie bis zum ersten Versagen beobachten würden, das keine Beobachter zurücklässt.
Ist Optimismus nicht gesünder als Untergang?
Temperament ist nicht die Frage. Die Frage ist, ob ein bestimmter Entwicklungspfad die Extinktionsleistung in Systemen konzentriert, die niemand zuverlässig kontrollieren kann. Sie können beim Abendessen fröhlich sein und sich immer noch weigern, das zu bauen. Gloom ohne Programm ist nutzlos; so ist die Fröhlichkeit, die es verbietet, den Mechanismus zu betrachten.
Wie würde echter Optimismus auf AI aussehen?
Handeln Sie so, als ob die Zukunft noch wählbar ist. Bauen Sie den Vertrag, die Inspektionen und die politische Koalition auf, die die Superintelligenz vom Tisch halten, bis die Kontrolle real ist. Das ist schwerer als ein Schulterzucken. Es ist auch der einzige Optimismus, der noch ein Thema hat, um das Ergebnis zu genießen.