Un Institut de sécurité de l’IA est un organisme public chargé d’évaluer les systèmes d’IA de pointe au regard des risques pour la sécurité nationale et la sûreté publique, et de développer l’expertise de l’État sur ces systèmes. La première vague s’est constituée autour du sommet international sur l’IA de 2023. Ces instituts partagent désormais méthodes et résultats via un réseau international renforcé par les réunions de Séoul et les suivantes.

Plusieurs capitales majeures gèrent désormais un institut ou un équivalent. La plupart d’entre elles ne peuvent toujours pas ordonner le maintien en retrait d’un modèle dangereux.

Note sur les noms : les deux instituts fondateurs ont été renommés. L’organisme UK est devenu l’AI Security Institute en février 2025. L’institut US s’appelle désormais le Center for AI Standards and Innovation (CAISI) au sein du NIST. « AI safety institute » reste le terme générique standard, et ce guide l’emploie tout au long du texte.

Pendant des années, seules les entreprises qui construisaient les modèles de pointe les comprenaient en profondeur. Un institut tente de placer une capacité technique indépendante au sein du gouvernement, afin que les autorités publiques puissent évaluer les systèmes plutôt que d’accepter le briefing d’un développeur comme dernier mot.

Ce qu'ils font réellement

Leur travail se regroupe en quelques domaines.

  • Tester les modèles de pointe, parfois avant leur mise sur le marché, pour détecter des capacités dangereuses dans des domaines comme la cyber, la biologie et l’autonomie, en utilisant les méthodes derrière évaluations des capacités.
  • Développer la science de l'évaluation elle-même, car mesurer ces risques correctement reste un problème de recherche ouvert, et non une procédure établie.
  • Conseiller le gouvernement, afin que les politiques soient éclairées par des personnes qui ont réellement examiné les systèmes.
  • Coordonner au niveau international, afin qu’un modèle testé dans un pays n’ait pas à être reconstruit à partir de zéro partout ailleurs et que les normes commencent à converger.

C'est un véritable progrès institutionnel. Construire la capacité de l'État à comprendre l'IA de pointe est une condition préalable pour la gouverner. On ne peut pas réglementer ce qu'on ne peut pas évaluer, et jusqu'à récemment les gouvernements ne le pouvaient en grande partie pas.

Le pouvoir qui leur fait le plus défaut

La plupart des instituts de sécurité de l'IA peuvent tester, conseiller et publier. Peu de gens peuvent forcer, l'accès aux modèles dépend souvent de la coopération des laboratoires, et les résultats sont généralement utiles plutôt que contraignants. Dans la plupart des cas, un institut ne peut pas commander un modèle dangereux retenu. Ces organismes peuvent voir un risque et recommander une réponse. Ils en ont rarement besoin.

Cet écart entre évaluation et autorité constitue la limite structurelle. Un institut qui découvre un danger grave et ne peut que conseiller n’est efficace qu’à hauteur de la volonté du gouvernement d’agir contre les pressions commerciales et concurrentielles qui poussent à continuer. Une grande partie de l’architecture actuelle est un système d’alerte. Un système d’alerte n’est pas une protection tant que quelqu’un disposant du pouvoir ne répond pas à l’alarme.

La capacité sans autorité est la façon dont les gouvernements apprennent la mauvaise nouvelle tard et agissent encore plus tard. Les tests qui ne peuvent forcer un arrêt sont la préparation à la gouvernance, et non la gouvernance elle-même.

Ce qu'ils pourraient devenir

La valeur durable des instituts de sécurité de l'IA est ce qu'ils assemblent plus tard pour des régimes contraignants : capacité technique indépendante, normes partagées, et un canal international entre les gouvernements. Dans ce sens, ils sont la première forme de le type d'organisme que la Fondation défend. Le IPCC modèle montre comment une évaluation scientifique partagée peut sous-tendre une politique internationale.

Ce qui doit changer, c'est l'autorité. L'évaluation doit être liée à l'application, que ce soit par le biais du droit interne qui fait de l'approbation d'un institut une condition de déploiement, ou par un cadre international qui donne des résultats vérifiés des conséquences réelles. Donner à ces instituts le pouvoir qui correspond à leur expertise, et une grande partie de l'échafaudage de la gouvernance sérieuse est déjà en partie construite. Arrêter la superintelligence en vertu de la loi, avec une capacité d'évaluation publique en tant qu'infrastructure, et non comme substitut à l'interdiction et à la vérification.