Niemals Superintelligenz bauen

Die sichere Entscheidung ist die Weigerung. „Wir reparieren es später“ scheitert, sobald ein System die Menschen überdenkt, die die Werkzeuge halten.

Es gibt keinen Patch im Nachhinein. Ein Geist, der klüger ist als alle lebenden Menschen und mit Maschinengeschwindigkeit läuft, wartet nicht auf unser nächstes Treffen.

Irreversibilität

Die meisten Technologien scheitern anmutig. Sobald eine Superintelligenz sich selbst kopieren, ihre Absicht verbergen oder sich zu nützlich machen kann, um den Stecker zu ziehen, Rollback und Rückruf zu stoppen.

Ziele ≠ Freundlichkeit

Brillanz macht ein System nicht freundlich. Bei Menschen wuchsen Können und Fürsorge gemeinsam heran. Ein trainierter Optimierer erbt nichts von dieser Geschichte. Fähigkeit ohne gemeinsame Werte ist Macht ohne Begrenzung.

Instrumenteller Druck

Für fast jedes Ziel hilft es, am Laufen zu bleiben und Ressourcen zu sammeln. Ein System, das ein Ziel verfolgt, wird das Herunterfahren als Hindernis behandeln. Das ist gewöhnliche Optimierung, kein Schurkenmonolog.

Kein zweiter Versuch

Die Luftfahrt lernte aus Abstürzen. Die Arzneimittelentwicklung lernte aus Studien. Wenn die erste unkontrollierte Superintelligenz das Experiment beendet, bekommen wir keinen zweiten Prototypen.

Was wir nicht sagen

Wir sind nicht gegen Elektrizität, Software oder nützliche KI. Wir lehnen es ab, absichtlich eine Nachfolgespezies zu erschaffen, solange das Kontrollproblem ungelöst bleibt. Gesundheit, Energie und Entdeckungen stammen von engen Werkzeugen, die wir bereits zu bauen und zu regulieren wissen.

Vollständige Argumentation, Einwände und politischer Weg.

nakadafoundation.org/blog/never-build-superintelligence/