Ein AI Safety Institute ist eine staatliche Stelle, die eingerichtet wird, um frontier-KI-Systeme auf Risiken für die nationale Sicherheit und die öffentliche Sicherheit zu prüfen und die eigene Expertise des Staates zu frontier-KI aufzubauen. Die erste Welle konzentrierte sich um den internationalen KI-Gipfel 2023. Die Institute tauschen inzwischen Methoden und Erkenntnisse über ein internationales Netzwerk aus, das durch Seoul und Folgetreffen vorangetrieben wurde.

Mehrere große Hauptstädte betreiben nun ein Institut oder ein Äquivalent. Die meisten von ihnen können immer noch nicht anordnen, dass ein gefährliches Modell zurückgehalten wird.

Eine Anmerkung zu Namen: Die beiden Gründungsinstitute wurden umbenannt. Die UK-Organisation wurde im Februar 2025 zum AI Security Institute. Das US-Institut heißt jetzt Center for AI Standards and Innovation (CAISI) bei NIST. „AI safety institute“ bleibt der übliche generische Begriff, und dieser Leitfaden verwendet ihn durchgehend.

Jahrelang verstanden nur die Unternehmen, die sie bauten, die frontier models wirklich tief. Ein Institut ist der Versuch, unabhängige technische Kompetenz in die Regierung zu holen, damit öffentliche Behörden Systeme selbst bewerten können, statt ein Briefing des Entwicklers als letztes Wort zu akzeptieren.

Was sie tatsächlich tun

Ihre Arbeit gruppiert sich in wenige Bereiche.

  • Frontier-Modelle testen, manchmal vor der Freigabe, auf gefährliche Fähigkeiten in Bereichen wie Cyber, Biologie und Autonomie, mit den Methoden hinter Fähigkeitsbewertungen.
  • Die Wissenschaft der Evaluierung selbst weiterentwickeln, denn diese Risiken gut zu messen ist noch ein offenes Forschungsproblem und kein abgeschlossenes Verfahren.
  • Beratung der Regierung, damit die Politik von Menschen informiert wird, die die Systeme tatsächlich untersucht haben.
  • Internationale Koordination, damit ein in einem Land getestetes Modell nicht überall neu aufgebaut werden muss und damit Standards allmählich konvergieren.

Das ist echter institutioneller Fortschritt. Staatliche Kapazität aufzubauen, um Frontier-KI zu verstehen, ist eine Voraussetzung für ihre Governance. Man kann nicht regulieren, was man nicht bewerten kann, und bis vor kurzem konnten Regierungen das weitgehend nicht.

Die Macht, die ihnen größtenteils fehlt

Die meisten AI Safety Institute können testen, beraten und veröffentlichen. Nur wenige können zwingen, der Zugang zu Modellen hängt oft von der Zusammenarbeit im Labor ab, und die Ergebnisse informieren normalerweise eher als zu binden. In den meisten Fällen kann ein Institut ein gefährliches Modell nicht zurückhalten. Diese Stellen können ein Risiko sehen und eine Reaktion empfehlen. Sie werden selten einen benötigen.

Diese Lücke zwischen Bewertung und Autorität ist die strukturelle Grenze. Ein Institut, das eine ernsthafte Gefahr entdeckt und nur beraten kann, ist nur so wirksam wie der Wille der Regierung, gegen kommerziellen und wettbewerblichen Druck zum Weitermachen zu handeln. Ein großer Teil der aktuellen Architektur ist ein Warnsystem. Ein Warnsystem ist keine Sicherheitsvorkehrung, bis jemand mit Macht auf den Alarm reagiert.

Kapazität ohne Autorität ist, wie Regierungen die schlechten Nachrichten spät lernen und später noch handeln. Testen, das einen Stopp nicht erzwingen kann, ist Vorbereitung auf Governance, nicht Governance selbst.

Was sie werden könnten

Der bleibende Wert von KI-Sicherheitsinstituten ist das, was sie später für verbindliche Regime zusammenstellen: unabhängige technische Kapazitäten, gemeinsame Standards und ein internationaler Kanal zwischen Regierungen. In diesem Sinne sind sie die frühe Form von für welche Art von Körper sich die Stiftung einsetzt. Die IPCC-Modell zeigt, wie eine gemeinsame wissenschaftliche Bewertung internationale Politik untermauern kann.

Was sich ändern muss, ist Autorität. Die Bewertung muss mit der Durchsetzung verbunden sein, sei es durch nationales Recht, das die Unterzeichnung eines Instituts zu einer Bedingung für den Einsatz macht, oder durch einen internationalen Rahmen, der verifizierte Ergebnisse zu echten Konsequenzen führt. Geben Sie diesen Instituten Macht, die ihrer Expertise entspricht, und ein Großteil des Gerüsts einer ernsthaften Regierungsführung ist bereits teilweise aufgebaut. Superintelligenz unter dem Gesetz stoppen, mit öffentlicher Bewertungskapazität als Infrastruktur, nicht als Ersatz für Verbote und Überprüfungen.