P(Untergang) ist kein Fachbegriff aus einer formalen Arbeit. Er entstand in Online-Diskussionen zur KI-Sicherheit als Abkürzung für eine Wahrscheinlichkeitsschätzung, der die meisten Forscher vor 2020 gar keine Zahl zugeordnet hätten. Die Bereitschaft, sie zu quantifizieren (das katastrophale KI-Risiko als eine zu schätzende Wahrscheinlichkeit zu behandeln statt als eine vage angedeutete Möglichkeit), ist eine der bedeutsamen Verschiebungen darin, wie Menschen, die der KI-Entwicklung am nächsten stehen, über das Problem denken.
Schätzungen reichen von wenigen Prozent bis über 50%, abhängig vom Forscher und wie sie die Schwierigkeit der Ausrichtung und die Geschwindigkeit der Governance bewerten.
Das „Doom“ in P(Untergang) bleibt bewusst unbestimmt. Verschiedene Forscher verstehen darunter das Aussterben der Menschheit, den dauerhaften Verlust menschlicher Autonomie, die dauerhafte Konzentration von Macht bei einem einzigen Akteur oder eine andere zivilisatorische Katastrophe. Die Ungenauigkeit wird eingeräumt; der Zweck des Begriffs besteht darin, explizites quantifiziertes Nachdenken über das Risiko zu erzwingen, statt sich auf Intuitionen darüber zu verlassen, ob es „real“ oder „spekulativ“ ist.
Wie die Schätzungen aussehen
Die Spanne zwischen diesen Forschern ist auffällig. Hinton und Yudkowsky liegen um Dutzende Prozentpunkte auseinander. Carlsmiths formale Zerlegung ergab eine breite Spanne statt einer Punktschätzung und spiegelt damit echte Unsicherheit bei jedem Zwischenschritt wider. Gemeinsam ist den Schätzungen, dass sie nicht trivial sind; keiner der sicherheitsorientierten Forscher, die sich ernsthaft mit dem Problem befasst und eine Zahl genannt haben, ist unter etwa 5 % gelandet.
Bilden Sie sich zu jedem der folgenden Knackpunkte eine eigene Meinung und beobachten Sie, wie sie sich zu einer einzigen Schätzung verdichten.
Warum die breite Spanne existiert
P(Untergang) als Zahl ist das Produkt mehrerer unsicherer Zwischenfragen, die miteinander multipliziert werden. Wie schnell werden sich KI-Fähigkeiten weiterentwickeln? Wie schwierig ist das Alignment-Problem bei Fähigkeitsniveaus jenseits dessen, was wir getestet haben? Wie wahrscheinlich ist es, dass fehlausgerichtete KI eines bestimmten Fähigkeitsniveaus katastrophalen statt begrenzten Schaden verursacht? Wie wahrscheinlich ist es, dass Governance wirksam reagiert, bevor die kritische Fähigkeitsschwelle erreicht wird?
Verschiedene Forscher haben unterschiedliche Verteilungen über diese Fragen, und die Schätzungen addieren sich. Ein Forscher, der das Alignment-Problem für lösbar hält, Fähigkeiten sich relativ langsam entwickeln und Regulierung rechtzeitig reagieren wird, kommt zu einer deutlich niedrigeren Gesamtschätzung als einer, der das Gegenteil zu jeder Frage annimmt. Die breite Spanne spiegelt echte Unsicherheit über jeden Faktor wider, nicht eine Meinungsverschiedenheit, die durch sorgfältigere Prüfung derselben Evidenz aufgelöst wird.
Das Argument des erwarteten Werts
Eine häufige Reaktion auf nicht-triviale P(Untergang)-Schätzungen lautet: „Selbst 10 % scheinen zu niedrig, um die Gesellschaft darum herum umzubauen.“ Die Antwort beruht auf einem Versagen der Erwartungswert-Logik, das in anderen Risikokontexten nicht akzeptiert würde.
Die jährliche Wahrscheinlichkeit einer großen Pandemie, die Millionen töten kann, wird auf unter 1 % in einem beliebigen Jahr geschätzt, dennoch erhält Pandemievorsorge erhebliche globale Investitionen und politische Aufmerksamkeit. Die Lebenszeitwahrscheinlichkeit, bei einem Autounfall im US zu sterben, liegt bei etwa 1 %, und Verkehrssicherheitsregulierung gilt als völlig normal. Das Argument, eine 10 % (oder sogar 5 %) Wahrscheinlichkeit einer zivilisatorischen Katastrophe rechtfertige keine ernsthaften Vorsorgeinvestitionen, ist keine kohärente Anwendung dessen, wie wir mit Risiken in anderen Bereichen umgehen.
Der erwartete Wert ist Wahrscheinlichkeit mal Größe. Für Risiken, die irreversibel und zivilisatorisch sind (wo es keine Erholung von dem schlechten Ergebnis gibt und das schlechte Ergebnis jeden zukünftigen Wert ausschließt), bleibt der erwartete Wert der Vorsicht auch bei Wahrscheinlichkeiten weit unter 10% groß. Eine Chance von 1 %, alles zu verlieren, ist ein Problem, dessen erwartete Kosten 1 % von allem betragen, was auf der Skala dessen, was die langfristige Zukunft enthält, eine enorme Zahl ist, kein Problem von 1 %.
Was P(Untergang) senken würde
Forscher, die hohe P(Untergang)-Schätzungen äußern, diagnostizieren, wo die kritischste Arbeit nötig ist, und resignieren nicht vor schlechten Ausgängen. Die Faktoren, die P(Untergang) in den Schätzungen der meisten Forscher senken würden, sind gut verstanden: nachgewiesene Fortschritte bei Interpretierbarkeitswerkzeuge die in der Lage sind, Alignment in Frontier-Systemen zu verifizieren; skalierbare Oversight-Ansätze, die auch bei Fähigkeitsniveaus jenseits menschlicher Experten halten; verbindliche internationale Governance-Rahmen mit echter Durchsetzung; und Fähigkeitsentwicklung, die langsamer verläuft als Alignmentsforschung, damit Sicherheit hergestellt ist, bevor gefährliche Fähigkeitsniveaus erreicht werden.
Die Stiftung konzentriert sich auf Governance-Frameworks und Ausrichtungsforschung als primäre Hebel, anstatt entweder das Risiko zu entlassen oder eine bestimmte P(Untergang)-Schätzung als maßgebliche Antwort zu behandeln. Die Unsicherheit in P(Untergang) ist kein Grund, auf weitere Informationen zu warten, das schlechte Ergebnis erreicht bestimmte Fähigkeitsschwellen, nicht auf einer Zeitleiste, die eine unbegrenzte Verschiebung der Vorsichtsmaßnahme ermöglicht.