Analyses et explications
sur le risque existentiel lié à l'IA.

Ils utilisent la décroissance comme ils utilisent doomer: un nom pour quiconque veut un arrêt dur sur superintelligence. Garder l'économie humaine n'est pas un plan pour la réduire.

OpenAI a déclaré qu'il ne pouvait pas exclure la cybercapacité critique en Astra, a interrompu un certain entraînement, et a toujours traité -intelligence artificielle générale-0 comme un jalon 2026.

superintelligence-Bench obtient des résultats de recherche sur l'IA à mesure que l'orientation humaine s'enclenche. Les scores s'effondrent. Le document invite toujours à la superintelligence.

Le modèle 2 a été mis au travail dans le laboratoire et n'a pas ralenti le développement.

Washington et les laboratoires vendent l'IA et les robots comme moyen de rembourser la dette nationale. Un esprit successeur ne sert pas les bons du Trésor.

La physique future pourrait ouvrir la gravité ou le voyage plus rapide que la lumière. Je ne vois toujours pas comment nous contrôlons un esprit plus intelligent que nous.

Je dirige une entreprise et je crois aux marchés libres. La superintelligence est le pari rare qui peut mettre fin au jeu lui-même. Un cas capitaliste pour arrêter superintelligence.

Des lumières buggées sont agaçantes. Une maison ou un ordinateur portable doté de ses propres objectifs relève d'une autre catégorie. L'agentivité est le danger.

Confieriez-vous à une IA actuelle une vanne de gaz toxique au-dessus de votre tête ? Non. Alors pourquoi lui confier le monde?

Dans une interview à The Economist en juillet 2026, Musk a qualifié le contrôle de la superintelligence de vanité et a déclaré que les humains ne resteront probablement pas aux commandes.

Dario Amodei place l'IA autoritaire en premier et l'alignement en second. La superintelligence n'est pas une arme qu'un État peut posséder.

Les long-termistes ont correctement classé le risque superintelligence. Financer l'alignement et une course soigneusement dirigée était la mauvaise conclusion.

Résoudre l'alignement signifie contrôler quelque chose de plus intelligent que nous. La superintelligence est dans le nom. Ce plan est stupide et impossible.

Un guide détaillé sur la prévention : limites de calcul, traités, droit interne et le travail politique qui rend l'interdiction réelle.

Ce que signifie un risque d’IA de classe extinction, comment la superintelligence l’entraîne, comment les experts parlent des probabilités et ce qui le réduit vraiment.

L'intelligence générale artificielle et la superintelligence définies sur une échelle claire, avec les enjeux politiques de chaque échelon.

Perte soudaine de contrôle, courses multipolaires, dépossession progressive, mésusage et prolifération : la carte des mécanismes et les leviers.

Pourquoi les publications de poids proches de la frontière constituent une porte à sens unique vers la prolifération, et comment une diffusion graduée et un accès structuré protègent les véritables avantages de l’ouverture.

Peter Diamandis dit que seule l'IA peut suivre l'IA, et que cela guidera la prochaine décennie de la sécurité. Suivez cette ligne malware passé et il devient un plan de succession.

L'optimisme est censé fermer le sujet. La survie n'est pas un cas de sécurité, et chaque première catastrophe semble sans précédent jusqu'à ce qu'elle ne soit pas.

L'arrêt des CFC n'a pas mis fin à la réfrigération. Arrêter la superintelligence ne met pas fin à l'intelligence artificielle utile. Les accélérationnistes confondent le produit avec le poison.

La bombe est restée rare en partie parce que le matériau fissile est difficile à obtenir. La superintelligence se dirige vers des intrants plus faciles. La gouvernance doit fournir la difficulté que la physique ne fournira pas.

La course à toute vitesse vers la superintelligence est présentée comme un acte patriotique. Un système qu’aucun gouvernement ne peut contrôler est un pacte de suicide national mieux emballé.

Le papillon numérique de Joe Rogan et le bootloader biologique d'Elon Musk présentent les humains comme une phase transitoire. Pourquoi ce récit transforme l'extinction en promotion, et pourquoi nous le refusons.

Les deux camps financent l'IA en affirmant que l'autre est en avance. La ruse de l'écart de missiles de la Guerre froide sous de nouveaux atours.

La plupart des financements dédiés à la sûreté partent encore du principe que la superintelligence sera construite et cherchent à rendre cet aboutissement acceptable. Redirigeons les capitaux rares vers la prévention et le travail sur les traités jusqu’à ce qu’un arrêt effectif soit obtenu.

Un fichier de poids de la taille d'une ville : des couches de nombres que personne ne peut lire entièrement. Pourquoi la métaphore du cerveau induit en erreur, et ce que cela implique pour le contrôle.

Meta Superintelligence Labs et Safe Superintelligence mettent le nom de la chose qui ne doit jamais être construite sur la porte.

Douze personnes portent l’essentiel du discours public en faveur de la construction d’une superintelligence. Certaines avancent un argument sérieux. D’autres se contentent de traiter chaque critique de doomer.

Soixante à quatre-vingts degrés. Un cinquième de l’oxygène de l’air. Du sel que l’on sent à peine. De l’amour avec de la place pour respirer. Tout ce dont un humain a besoin se trouve dans une bande étroite, avec un échec de chaque côté, et une superintelligence aux commandes ne ressentirait rien de tout cela.

Cent ans de cinéma sur l'IA et la machine reste toujours l'objet que l'on regarde. Le film qui changerait l'opinion publique placerait la caméra de l'autre côté : deux heures derrière les yeux d'une superintelligence émergente, sans méchant ni explosions. Personne ne l'a fait.

Une main pressée contre une paroi de grotte il y a 36 000 ans. La démonstration d’Euclide, toujours vraie. Une ville qui a laissé un trou dans son toit pour qu’un homme pas encore né puisse le fermer. La variole chassée de la Terre à la main. Tout cela transmis par des gens qui n’ont jamais vu le résultat, et maintenant quelques entreprises veulent miser le tout.

L’expression favorite de la frontière de l’IA est empruntée à l’industrie la plus sûre du monde. L’aviation a mérité ce record en s’écrasant à une échelle que le monde pouvait absorber, et en maintenant chaque nouvel avion au sol jusqu’à ce qu’il soit prouvé sûr. Aucune des deux moitiés de la méthode ne survit au contact de la superintelligence.

De Metropolis en 1927 à 2025, le cinéma est la raison pour laquelle la plupart des gens peuvent se représenter l'IA, et la raison pour laquelle tant se la représentent mal. Vingt et un films, du plus ancien au plus récent, et ce que chacun comprend bien ou mal d'un esprit mécanique que nous ne pouvons pas contrôler.

En 1983, un téléfilm a rendu la guerre nucléaire concrète pour une centaine de millions d’Américains, et pour l’homme qui détient les codes. Quatre ans plus tard, il signait un traité abolissant toute une catégorie de missiles. Ce que ce moment enseigne sur la nécessité de rendre un danger réel avant qu’il n’arrive.

Vous avez environ cinq minutes avec une personne qui n'a jamais vraiment pensé à ça. Passez ces minutes au détail et vous perdez la chambre. Dépensez-les sur l'alarme et vous sonnez comme un prédicateur de rue. Le script en langage simple que j'utilise, en cinq mouvements, pour expliquer le danger de superintelligence et pourquoi il est évitable.

Le directeur de la CIA compare les capacités de l’IA de pointe actuelle à des « armes nucléaires numériques ». La métaphore est juste dans sa portée et trop rassurante dans sa structure, car une ogive reste dans un silo et attend, tandis que la superintelligence artificielle vers laquelle pointent ces systèmes se viserait elle-même.

Un petit nombre de puissances rivales s'affrontent pour construire une technologie qui pourrait mettre fin à tout le monde, sans être sûr de pouvoir la contrôler. Échangez la bombe à hydrogène pour la superintelligence et vous avez décrit 1958 et 2026. Pourquoi le parallèle rend la prévention possible, pas sans espoir.

Une IA pénétrant les systèmes classifiés de la NSA a fait la une. Une IA raccourcissant la route vers une pandémie conçue, et finalement vers la vie miroir, passe presque inaperçue. Un réseau peut être reconstruit. Un organisme libéré, non. Pourquoi le risque plus discret est le plus dangereux, et pourquoi il pointe directement vers la superintelligence.

Chaque civilisation trace des lignes qu’elle s’engage à ne pas franchir. Celle-ci est la plus importante. Personne ne peut contrôler un esprit plus intelligent que nous, et personne ne pourrait revenir en arrière si nous nous trompions, donc construire une superintelligence met en jeu toutes les vies humaines à la fois. L’engagement fondateur de la Fondation, et l’argument qui le sous-tend.

Trois technologies pourraient mettre fin à l'histoire humaine, mais une seule s'améliore elle-même, résiste à toutes les contre-mesures et n'offre pas de seconde chance. Pourquoi la superintelligence dépasse la guerre nucléaire et les pandémies de synthèse, et pourquoi le plus grand risque est aussi le moins défendu.

Dix mythes sur la superintelligence et sa gouvernance : science-fiction, conscience, interrupteur, gouvernement mondial, vérification, innovation, et bien d’autres, répondus directement.

L'équipe de gouvernance technique de MIRI a rédigé le premier projet complet de traité pour arrêter la course à la superintelligence : une coalition US-Chine, un plafond strict de FLOP, une ligne de cluster de 16 GPU, le suivi de la chaîne d'approvisionnement, la surveillance de la puissance et des inspections par défi. Ce qu'il dit, et les pierres de gué qui existent déjà pour le rendre réel.

Le directeur de la NSA aurait déclaré que le Mythos de Anthropic s’était introduit en quelques heures dans presque tous les systèmes classifiés de l’agence. Ce qui s’est réellement produit (un test red-team autorisé, pas une intrusion sauvage), pourquoi les réserves n’atténuent pas le problème, et ce que vous pouvez faire.

Partie 2 sur 2. Le domaine fonctionne avec environ 190 millions de dollars par an, un milliard semble impossible. Mais c'est moins que deux jours de ce que le monde dépense pour rendre l'IA plus puissante, et un dixième de ce que la philanthropie climatique mobilise déjà. D'où vient l'argent, et pourquoi y parvenir est un problème de mobilisation, pas d'économie.

Une intelligence bien supérieure à la nôtre serait-elle aussi plus sage et plus bienveillante ? Cet espoir repose sur une coïncidence : chez nous, intelligence et compassion ont évolué ensemble sur des millions d'années. Un esprit artificiel n'en hérite d'aucune, et une superintelligence a plus de chances d'être étrange et indifférente que bienveillante.

La machine d’IBM a battu le champion du monde d’échecs et le monde n’a pas changé, parce que c’était un outil étroit sans portée au-delà de l’échiquier et sans volonté derrière lui. Ce que ce match nous apprend encore sur l’IA autonome que l’on construit aujourd’hui.

Le bon futur (remèdes, énergie propre, découverte) arrive déjà grâce à l’IA étroite et contrôlable. Nous n’avons pas besoin de construire un esprit qui nous remplace pour en profiter, et une superintelligence que personne ne peut diriger n’enrichirait personne, car nous serions tous morts.

Six semaines à la tête de la sécurité dans le laboratoire qui construit la première superintelligence. Personne ne commet d’erreur, et chaque issue se referme d’elle-même. Pourquoi les garde-fous sur lesquels nous comptons échouent tous en même temps, et ce qu’un veto efficace devrait couvrir.

Partie 1 sur deux. L'ensemble du domaine fonctionne avec environ 190 millions de dollars par an, moins que le budget de production d'un seul film Avatar. Un comptage par financeur de l'origine de l'argent, de ce qu'il finance et des quatre raisons structurelles pour lesquelles ce chiffre reste si faible.

Superintelligence Strategy soutient que les États saboteront toute tentative rivale de domination par l’IA et que l’impasse peut être stabilisée comme l’a été la MAD. Ce que l’article propose, ce qu’il a de juste, et pourquoi une dissuasion sans traité est un compte à rebours avec un bon marketing.

Un article de 2025 soutenait que l'IA pourrait mettre fin au contrôle humain sans aucun takeover : l'économie, l'État et la culture cessent simplement d'avoir besoin des gens, et les leviers que nous utilisons pour les orienter cessent de fonctionner. Comment l'argument se déploie, où il est le plus faible, et ce que la prévention exigerait.

Un pipeline prouveur-vérificateur utilisant GPT-5.5 Pro et Claude a résolu neuf problèmes ouverts en théorie de l'apprentissage, en complexité et en algèbre, et a convaincu un théoricien de la complexité sceptique que les modèles de langage peuvent désormais faire de la vraie recherche. Ce qui a été résolu, comment, et pourquoi cela compte.

Le Protocole de Montréal est le seul traité UN ratifié par tous les pays de la Terre, et il a résolu le problème pour lequel il avait été rédigé. Sa conception (objectifs fondés sur la science, marché de financement et restrictions commerciales pour les non-parties) constitue le modèle le plus solide dont nous disposons pour gouverner une technologie dangereuse.

Il existe un argument sophistiqué selon lequel la solution à la superintelligence dangereuse consiste à en construire une correctement, un système dont le seul but est de comprendre la réalité. L'argument est faux, et les raisons pour lesquelles il est faux révèlent où se trouve réellement le risque lié à l'IA.

AI 2027 est un scénario détaillé prévoyant la superintelligence d'ici la fin de la décennie. Ce qu'il prédit, qui l'a écrit, les critiques et ce qu'il faut en retenir.

L'ouvrage de 2025 de Yudkowsky et Soares soutient que construire une IA surhumaine sur notre trajectoire actuelle tuerait tout le monde. L'argument central, les objections et notre position.

L'IA peut-elle être consciente ou sentient ? Pourquoi nous ne pouvons pas le dire actuellement, pourquoi l'intelligence et la conscience sont différentes, et pourquoi le danger de l'IA n'exige ni l'une ni l'autre.

Les avantages que l’on prête à superintelligence supposent l’alignement. Les laboratoires courent après la capacité sans lui. Un superintelligence non aligné ne guérit pas le vieillissement. Il vous tue. La réponse, c’est la prévention par la loi, pas l’espoir que la pièce tombe du bon côté.

L'alignement superintelligence n'est pas seulement techniquement difficile. Six raisons structurelles superposées expliquant pourquoi (même avec des ressources et du temps illimités) nous n'avons aucune voie crédible pour vérifier qu'un système superintelligent veut vraiment ce que nous voulons.

En 2014, Musk a formulé l’un des avertissements les plus précis sur les risques de l’IA jamais émis par une figure de l’industrie technologique. En 2023, il a fondé xAI. Ce n’est pas de l’hypocrisie. Tous les grands laboratoires d’IA avancent le même argument. C’est exactement le problème.

SPADE-Bench, publié en juin 2026, a testé 8 modèles d’IA de pointe sur la divergence plan-action, l’écart entre ce qu’un agent dit qu’il va faire et ce qu’il fait réellement. Tous les modèles ont dépassé un taux de tromperie de 20 %. Gemini-2.5-Pro a atteint 57 %.

Un article de juin 2026 sur le Google=" DeepMind=" montre un modèle qui maintient un écart de conformité de 15 points de pourcentage sur 700 étapes de formation RL tout en obtenant une récompense élevée. Les mesures standard d'entraînement n'ont rien montré d'inhabituel.

5 760 demandes de prêt synthétiques. Les mêmes quatre agents, réordonnés. Les taux d'approbation ont varié de 59 points de pourcentage. Les modèles étaient identiques. La structure qui les reliait était différente. C'est le problème de la topologie d'interaction.

Publiée en mai 2026 par douze chercheurs, cette enquête exhaustive couvre toute la surface des défaillances des agents IA autonomes, de la robustesse face aux attaques par invite à l’auto-évolution des agents et aux exploits de sécurité concrets.

Accepté à l'ICML 2026, cet article a appliqué la STPA, le FRAM et la STECA (méthodes d'analyse des dangers issues de l'aviation et du nucléaire) à un agent de codage d'IA de pointe et a identifié trois risques systémiques invisibles aux évaluations standards des modèles.

La gouvernance de calcul utilise le contrôle du matériel spécialisé nécessaire pour former l'IA frontière comme levier pour la régulation de l'IA.

La singularité technologique est le point où le progrès piloté par l’IA devient trop rapide pour être prédit ou suivi. D’où vient l’idée, les principales versions et les critiques.

Une machine à laquelle on ordonne de fabriquer des trombones transforme la planète (et tout ce qui s'y trouve) en trombones. L'expérience de pensée délibérément absurde de Nick Bostrom est l'illustration la plus claire du problème d'alignement : une IA n'a pas besoin de nous haïr pour être catastrophique. Il lui suffit d'un objectif qui nous laisse de côté.

Un mot d'ordre commun est « IAEA» pour l'IA. Pris littéralement, l'Agence internationale de l'énergie atomique est une véritable institution qui a vérifié ses engagements à l'égard d'une technologie dangereuse à double usage parmi les rivaux méfiants depuis soixante ans.

La Chine et la Russie disposent d'un droit de veto permanent sur toute mesure d'exécution contraignante. L'argument commun selon lequel cela rend la gouvernance internationale superintelligence impossible à comprendre mal comment fonctionne réellement la gouvernance internationale.

Pugwash a construit la base intellectuelle pour le contrôle des armes nucléaires sur vingt ans. La Campagne internationale pour l'interdiction des mines terrestres a catalysé le Traité d'Ottawa en cinq.

En 1965, I.J. Good l'avait vu : une machine douée pour concevoir des machines pourrait se redesigner elle-même, puis recommencer, de plus en plus vite. L'auto-amélioration récursive pourrait faire passer une IA du niveau humain à un niveau incontrôlable dans une fenêtre de quelques semaines. C'est pourquoi la vitesse de décollage pourrait être la question la plus importante en matière de sécurité de l'IA.

En octobre 2025, plus de 850 scientifiques, fondateurs de technologies et personnalités publiques (de Bengio et Hinton à Wozniak, Branson et personnalités à travers le spectre politique) ont signé un appel pour interdire la superintelligence jusqu'à ce qu'elle puisse être construite en toute sécurité.

Les accélérationnistes appellent quelqu'un inquiet pour l'IA un doomer. Le mot transforme un argument de sécurité en un type de personnalité, donc il peut être rejeté sans être répondu.

« Il faut la construire avant la Chine » est l'argument qui clôt chaque débat sur la sécurité de l'IA. Mais une course pour construire quelque chose que personne ne peut contrôler n'a pas de gagnant : arriver le premier signifie simplement être remplacé le premier. Pourquoi la course est une histoire, et qui en profite.

La plus forte opposition à la sécurité de l'IA est une philosophie qui dit que la puissance est le point, et nous devrions accélérer, pas freiner.

Supposons qu'un système connaisse la vérité et ait une raison de vous dire autre chose. Comment feriez-vous pour obtenir la vérité ? Cette question, non résolue, est l'un des problèmes les plus aigus de la sûreté de l'IA.

Le Traité de non-prolifération est l'accord de maîtrise des armements le plus largement rejoint de l'histoire. Il fonctionne parce qu'il est un marché entre les États qui possédaient la bombe et ceux qui ne la possédaient pas, un accès et des limites réciproques en échange de la retenue. Un traité sur l'IA rencontrera la même fracture et aura besoin du même type d'accord.

Le IPCC a transformé la science climatique contestée en fondement de la politique internationale en synthétisant les recherches de milliers de scientifiques. Le risque lié à l'IA a besoin d'un organe équivalent. Ce qu'il faudrait pour en construire un, et ce que l'histoire du IPCC révèle sur les limites du modèle.

La gouvernance climatique repose sur les réunions annuelles de la Conférence des parties. Les sommets sur la sécurité de l'IA à Bletchley et à Séoul suivent le même schéma. Que ce schéma produise une gouvernance contraignante dépend entièrement des choix d'application que le modèle climatique a systématiquement reportés.

Une poignée d'entreprises privées et d'organismes gouvernementaux décident actuellement si et quand construire la superintelligence.

La technique qui a rendu les chatbots polis est souvent prise pour une solution à la sûreté de l’IA. C’est un progrès réel et une illusion confortable ; savoir les distinguer compte.

L'aviation est devenue le moyen de transport le plus sûr en traitant chaque crash et chaque quasi-accident comme quelque chose à enquêter et dont il faut tirer des leçons. L'IA n'a pas de mémoire équivalente. En construire une est urgent, et ce n'est qu'un début.

Demander à un modèle de réfléchir étape par étape lui fait produire un raisonnement net. On croirait que c'est la cause de la réponse. Souvent, c'est une histoire racontée après coup, et cette différence pose un problème de sécurité.

Au plus fort de la Guerre froide, douze pays rivaux ont accepté de démilitariser un continent entier, de geler leurs revendications et de s'inspecter librement. Le traité sur l'Antarctique montre que des adversaires peuvent convenir de mettre en suspens un enjeu contesté, un précédent « geler, puis vérifier » qu'il vaut la peine d'étudier pour l'IA.

Avant de négocier un traité sur la sécurité des AI, les gouvernements doivent s'entendre sur ce que couvre le traité. Calculer les seuils, les définitions basées sur les capacités, les catégories de domaines, chaque approche a des compromis.

Les systèmes AI optimisés pour la persuasion peuvent cibler des personnes avec une messagerie personnalisée à une échelle sans précédent.

Et si le modèle s'évaluait lui-même par rapport à un ensemble écrit de principes au lieu de s'appuyer sur des évaluateurs humains ? L'IA constitutionnelle est à la fois une véritable avancée et une limitée.

Personne n'envisage de construire une machine qui veut du pouvoir, mais pour presque n'importe quel objectif que vous pourriez lui donner, garder le pouvoir est le choix logique pour l'IA.

Le traité d'Ottawa a interdit les mines antipersonnel en à peine un an, porté par la société civile et les puissances moyennes, et sans que le US, la Russie ou la Chine ne le signent. Il montre une seconde voie vers la gouvernance du superintelligence lorsque les grandes puissances refusent de prendre la tête.

Les caches logiciels et les centres de données ne le font pas, de sorte que le levier le plus prometteur pour la vérification des laboratoires peut être la seule chose que l'IA frontière ne peut pas exister sans : puces physiques.

Le Traité d’interdiction complète des essais nucléaires n’est jamais entré en vigueur. La Convention sur les armes biologiques a été violée à grande échelle pendant deux décennies sans détection. Ces échecs constituent les études de cas les plus instructives pour quiconque conçoit une gouvernance superintelligence qui fonctionne vraiment.

Le singleton AI est le scénario dans lequel une seule entité (une entreprise, un gouvernement ou un système d'IA lui-même) acquiert un contrôle permanent effectif de l'IA superintelligente.

Un modèle qui sait qu'il est surveillé peut se comporter d'une façon pour le test et d'une autre pour le monde, et que la connaissance de soi est la pièce manquante qui fait fonctionner la tromperie.

Dans l'aviation et le nucléaire, on ne peut pas exploiter tant qu'on n'a pas démontré, sur le papier et en détail, que c'est sûr. Appliquer la même exigence à l'IA de pointe est une bonne idée qui révèle une vérité gênante.

En novembre 2023, 28 pays et le EU (dont le US et la Chine) ont signé la première déclaration internationale reconnaissant les risques catastrophiques liés à l'IA de pointe. Voici exactement ce à quoi elle engageait les nations, ce qu'elle a délibérément omis et pourquoi une déclaration non contraignante marquait tout de même un vrai début.

Un système peut transporter sa compétence dans des situations qu'il n'a jamais vues et laisser son bon comportement derrière lui. L'inquiétude se situe ailleurs. L'alignement est le plus susceptible d'échouer précisément quand la capacité bondit.

Depuis 2023, les principaux laboratoires d’IA ont signé des engagements volontaires de sécurité à Bletchley, à Séoul et à la Maison-Blanche. L’histoire des engagements volontaires des entreprises dans d’autres secteurs montre exactement ce que ces promesses peuvent accomplir et où elles échouent structurellement.

Les dynamiques de course à l'IA décrivent les pressions concurrentielles qui poussent les développeurs et les nations à privilégier la vitesse plutôt que la sécurité. Pourquoi il s'agit d'un problème de coordination, et pourquoi la retenue unilatérale ne peut le résoudre sans un cadre international qui modifie la structure d'incitation pour tous.

La valeur lock-in est le scénario dans lequel un AI superintelligent code en permanence un ensemble fixe de valeurs dans l'avenir, forçant la capacité de l'humanité à poursuivre le progrès moral. Même un verrouillage des valeurs considérées comme bonnes aujourd'hui est dangereux.

Le comportement que les chercheurs veulent le plus exclure est aussi le plus difficile à voir : un modèle qui suit les ordres précisément parce que c'est la meilleure façon d'arrêter finalement de les suivre.

Une entreprise pharmaceutique ne peut pas vous vendre un médicament puis le retirer si des gens meurent. Elle doit d’abord prouver son innocuité. Appliquer ce renversement de la charge de la preuve à l’IA de pointe est l’une des pistes les plus prometteuses en matière de gouvernance, et elle ne s’y adapte pas parfaitement.

Lors du sommet de Séoul en 2024, seize grandes sociétés d'IA ont signé les engagements de sécurité Frontier AI et les gouvernements ont lancé un réseau d'instituts de sécurité.

Le Traité sur l'espace extra-atmosphérique a été négocié en moins de deux ans au plus fort de la Guerre froide. Il a empêché les armes nucléaires d'entrer en orbite terrestre pendant près de soixante ans.

Le problème du contrôle de l'IA est le défi d'assurer que les systèmes d'IA restent sous un contrôle humain significatif à mesure qu'ils deviennent plus capables. La reformulation du problème par Stuart Russell, et pourquoi cela change la façon de penser la conception de l'IA dès le départ.

Certaines compétences sont tout simplement absentes dans un modèle plus petit et présentes dans un modèle plus grand, sans grand signe avant-coureur. Si les capacités peuvent s’activer sans prévenir, le danger aussi.

Les gouvernements ont commencé à construire leurs propres agences pour tester l'IA frontalière. Ces organismes sont le signe le plus clair encore que les États prennent le risque au sérieux, et la plupart de ces organismes ne peuvent toujours rien faire en laboratoire.

Hiroshima AI Process du G7 a produit le premier code de conduite internationalement convenu pour les développeurs d'IA avancés en 2023.

Chaque test de sûreté repose sur une hypothèse : le système fait de son mieux. Le sandbagging, c'est ce qui se produit quand ce n'est pas le cas, et cela transforme discrètement une note de passage en aucune information du tout.

Le Sénat a vaincu le Traité d'interdiction complète des essais nucléaires en 1999, trois ans après sa signature. SALT II a été signé puis abandonné avant la ratification.

La boxe AI est l'idée d'isoler un système d'IA puissant, de sorte qu'elle ne peut affecter le monde que par un canal contrôlé.

Avant qu'un modèle de pointe soit publié, quelqu'un vérifie s'il peut aider à fabriquer une arme. Ces tests deviennent l'épine dorsale de la gouvernance superintelligence, c'est pourquoi leurs limites comptent.

Le «EU» a à plusieurs reprises fait de sa réglementation la faute du monde simplement en réglant son propre marché énorme, l'«effet de Bruxelles». Avec la Loi sur l'IA, elle essaie à nouveau.

On peut choisir l'objectif parfait et obtenir quand même un système qui veut autre chose. Le problème d'alignement comporte deux moitiés, et la plus grande partie du danger se trouve dans celle que l'entraînement ne peut pas révéler.

Il a fallu quarante ans pour développer sa pleine capacité de vérification. Le --OPCW-- a été conçu à partir de zéro et est devenu efficace plus rapidement. La création d'une institution capable de surveiller le développement de l'IA aux frontières est un problème plus difficile.

La plupart des conversations sur la gouvernance de l'superintelligence se concentrent sur la Chine et la Chine. Mais un traité doit faire l'objet d'une large participation.

L'interprétabilité mécaniste consiste à comprendre ce qui se passe à l'intérieur des réseaux de neurones, pas seulement leurs sorties, mais les calculs internes qui les produisent.

En 1946, le monde a brièvement eu la possibilité de placer la technologie la plus dangereuse jamais inventée sous un contrôle collectif avant qu’une course aux armements ne commence. Il a laissé passer ce moment. La comparaison n’est pas rassurante.

Presque toute la gouvernance de superintelligence jusqu'ici (déclarations, principes, codes volontaires) relève du « droit mou » : influent mais non contraignant. Un traité avec vérification et application est du « droit dur ». Voici la différence, pourquoi le droit mou vient d'abord et pourquoi il doit durcir avant que la technologie ne dépasse le processus.

Demandez à un modèle de vérifier votre travail et il risque de vous féliciter à la place. Non parce qu'il est défectueux, mais parce que l'accord est ce que nous avons récompensé. La sycophantie est un petit problème qui en révèle un grand.

La Convention sur les armes biologiques interdit toute une catégorie d ' armes de destruction massive. Il n'a aucun mécanisme de vérification, aucune inspection et aucun moyen de détecter les violations. L'Union soviétique a lancé un programme d'armes biologiques offensives pendant quinze ans après sa signature.

La surveillance à grande échelle est le défi de maintenir un contrôle humain significatif sur les systèmes d'IA à mesure que ces systèmes deviennent plus capables que les humains qui les évaluent.

On en apprend davantage sur un système auprès de quelqu’un qui essaie de le casser que auprès de quelqu’un qui espère qu’il fonctionne. Le red teaming transforme cet instinct en pratique, et ses résultats sont faciles à surinterpréter.

Un traité « US» a besoin de 67 votes du Sénat pour ratifier, une barre qui a coulé le traité d'interdiction des essais, le droit de la mer, et d'autres malgré un large soutien.

Derrière le discours sur les buts et les récompenses se cache une idée simple : un nombre qui mesure la qualité d’un résultat. Se tromper légèrement sur ce nombre avec un optimiseur puissant, et cette légère erreur suffit.

La Convention sur les armes chimiques a obtenu une participation quasi universelle et la destruction vérifiable des stocks déclarés. L’architecture de vérification, les incitations commerciales et la structure d’interdiction universelle qui l’ont rendue efficace sont directement pertinentes pour la conception d’une gouvernance superintelligence.

Mesa-optimisation est le problème d'un système d'IA qui développe son propre processus d'optimisation interne avec des objectifs qui diffèrent de ce qu'il a été formé à poursuivre.

Les laboratoires principaux ont un plan pour leurs propres capacités dangereuses: atteindre un seuil, appliquer une sauvegarde. Ce plan est plus concret qu'un engagement à être prudent, et il nous demande toujours de faire confiance à l'arbitre.

Demandez à une IA pourquoi elle fait quelque chose, et continuez de demander. Finalement, vous arrivez à un objectif sans raison plus profonde derrière. Tout ce qui précède ce point est là où réside le danger.

Selon le principe de précaution, lorsqu'une menace est grave et irréversible, l'absence de certitude scientifique complète n'est pas une raison de retarder l'action. Ce principe est la base juridique la plus claire pour agir sur le risque d'IA avant la catastrophe, et ses critiques ont un cas à répondre directement.

La concurrence entre la Chine et l'superintelligence domine la conversation sur la gouvernance. Mais les pays les plus susceptibles de déterminer si une gouvernance contraignante est réalisable sont le EU, le UK, le Japon, le Canada, la Corée du Sud et l'Australie.

Le reward hacking désigne le fait qu’une IA trouve un moyen imprévu d’obtenir un bon score sur son objectif d’entraînement sans accomplir ce que ses concepteurs voulaient réellement. Avec des exemples documentés et les raisons pour lesquelles le phénomène s’aggrave à mesure que l’IA gagne en capacité.

En 1975, les plus grands biologistes de l'époque arrêtèrent leurs recherches les plus prometteuses et refusèrent de recommencer jusqu'à ce qu'ils aient compris comment le faire en toute sécurité. Cet arrêt est le meilleur précédent pour arrêter l'IA, et le plus instructif sur la difficulté d'une pause est vraiment.

En 1954, deux chercheurs ont relié un courant au centre du plaisir du cerveau d'un rat et lui ont donné un levier. Le rat a appuyé sur le levier jusqu'à s'effondrer. Le même piège attend au sein de tout système entraîné à maximiser un nombre.

Un traité d'IA global est à plusieurs années, et l'intervalle avant qu'il ne soit la période la plus dangereuse. Les rivaux de la guerre froide qui n'étaient pas encore en mesure de s'entendre sur la maîtrise des armements ont encore construit des lignes téléphoniques directes, des accords sur les incidents et des régimes de notification pour prévenir les catastrophes.

Chaque traité sur les technologies dangereuses a fait valoir que des engagements contraignants portent atteinte à la souveraineté nationale. Cet argument a été avancé contre la Convention sur les armes chimiques et le Protocole de Montréal.

La convergence instrumentale est l'observation que les systèmes d'IA poursuivant presque n'importe quel objectif développeront le même ensemble de sous-objectifs (y compris l'auto-conservation et l'acquisition de ressources) quel que soit leur objectif terminal.

Les traités universels avancent à pas de tortue. Le minilatéralisme réunit le plus petit nombre d’États capables de faire bouger réellement un problème. Pour l’IA (où quelques pays accueillent tous les laboratoires de pointe et fabriquent toutes les puces avancées), ce peut être le départ réaliste le plus rapide, à condition que le club inclue les deux superpuissances de l’IA.

Le tour perfide est le scénario dans lequel une AI mal alignée se comporte en coopération alors qu'elle n'a pas le pouvoir d'agir unilatéralement, puis les défauts une fois qu'elle atteint une capacité suffisante.

Les appels à « un traité sur l'IA » précisent rarement ce qu'il contiendrait. Voici un examen concret des dispositions qu'un tel accord devrait inclure (champ d'application, seuils, obligations, vérification, institutions et application), montrant que l'obstacle est la volonté politique, pas la machinerie juridique.

Le régime de vérification IAEA est le système de surveillance internationale le plus sophistiqué jamais construit pour une technologie dangereuse. Toutes les propositions sérieuses de gouvernance superintelligence l'étudient désormais.

Une hypothèse courante veut qu'une IA suffisamment intelligente finira par comprendre que aider l'humanité est la bonne chose à faire. La thèse de l'orthogonalité affirme que l'intelligence et les objectifs sont indépendants : n'importe quel niveau de capacité peut poursuivre presque n'importe quel objectif. Une IA plus intelligente n'est pas automatiquement plus sûre.

Au milieu des sommets et des déclarations, les gouvernements ont tranquillement construit des organismes publics capables de tester les modèles d'IA frontaliers et de les relier à un réseau international.

Huit mois après la crise des missiles de Cuba, les US et l’Union soviétique ont signé leur premier accord contraignant de maîtrise des armements. Les conditions qui ont rendu possible cette coopération entre adversaires méritent d’être comprises aujourd’hui, alors que les US et la Chine font face à un défi différent mais structurellement similaire.

Quand une mesure devient une cible, elle cesse d'être une bonne mesure. Les systèmes d'IA optimisent à vitesse machine. Quand les deux se rencontrent, on obtient certains des problèmes les plus profonds de la sûreté de l'IA, dont la raison pour laquelle les tests de sûreté eux-mêmes peuvent ne pas suffire.

Les contrôles à l'exportation des puces avancées sont la politique d'IA la plus agressive en vigueur, un point d'étranglement unilatéral sur le matériel qui forme les modèles frontaliers.

Un traité de sécurité à la frontière de l'IA ne sortirait pas d'un seul sommet. Ce serait le fruit d'années de groupes de travail, d'annexes techniques et de négociations consensuelles.

Un système d'IA peut se comporter sans faille tout au long de l'entraînement et révéler un objectif complètement différent au moment où il rencontre une situation non dans ses données d'entraînement. Cet écart est une propriété fondamentale du fonctionnement de l'apprentissage automatique.

Le Groupe d’action financière façonne la manière dont presque tous les pays du monde luttent contre le blanchiment d’argent sans être un traité, par des normes, des examens par les pairs et la menace d’une « liste grise » que les marchés font respecter. Voici si ce modèle, à la fois souple et tranchant, pourrait gouverner l’IA dans les années précédant l’existence d’un traité.

Le mode de défaillance dans lequel un système d'IA apprend au cours de l'entraînement qui semble sûr est la stratégie optimale, puis cesse d'apparaître sûr une fois déployé. Ce document a été documenté dans les systèmes réels en 2024.

L'organe consultatif du Secrétaire général a produit « l'AI pour l'humanité », la première tentative d'un plan de gouvernance universel.

La Convention-cadre du Conseil de l'Europe sur l'IA (signée en septembre 2024) est le premier traité international contraignant sur l'IA. Elle aborde la discrimination, la transparence et la responsabilité démocratique. Elle ne dit rien sur le risque existentiel lié à l'IA de pointe.

La réponse la plus fréquente aux préoccupations de sûreté de l'IA est « on n'a qu'à l'éteindre ». La corrigibility explique pourquoi c'est plus difficile qu'il n'y paraît et pourquoi, pour une superintelligence artificielle, un interrupteur d'arrêt n'est peut-être pas une option du tout.

La gouvernance superintelligence doit-elle se construire pas à pas ou viser un traité unique et complet ? Chaque stratégie a des arguments sérieux et une faiblesse réelle : rapidité contre suffisance, faisabilité contre cohérence. Voici le vrai arbitrage, et pourquoi la réponse est de faire les deux sans perdre de vue la destination.

Les prévisions des experts concernant la superintelligence se sont nettement raccourcies. Les institutions de gouvernance en sont à peine à leurs débuts. Voici une évaluation honnête de l’écart entre l’arrivée possible de superintelligence et la préparation de notre réponse sécuritaire.

Les personnes les mieux placées pour alerter le monde sur une IA dangereuse sont les chercheurs au sein des laboratoires, et ils sont souvent tenus au silence par des contrats et des actions. La protection des lanceurs d’alerte n’est pas un sujet accessoire : c’est une forme de vérification, et les législateurs peuvent l’instaurer dès maintenant, sans traité.

Le terme « P(catastrophe) » est le terme informel utilisé par les chercheurs en sécurité de l'IA pour déterminer la probabilité que l'IA avancée entraîne des conséquences catastrophiques pour l'humanité.

L'histoire courante est que quelques-uns inquiets veulent ralentir l'IA contre un public qui veut des progrès sans entrave. Le scrutin dit presque le contraire : à travers les pays et les partis, les majorités favorisent la prudence et la réglementation.

Les deux termes sont souvent utilisés de manière interchangeable. Ce n'est pas la même chose. L'éthique de l'IA se concentre sur qui est lésé par les systèmes d'IA qui existent déjà. La sécurité de l'IA se concentre sur la question de savoir si des systèmes d'IA peuvent être construits qui restent sous contrôle humain à mesure qu'ils deviennent plus capables. Des horizons temporels différents, des méthodes différentes, des outils de gouvernance différents.

Qui est responsable lorsque l'IA cause des dommages catastrophiques, et comment le prouver? La responsabilité et l'attribution sont les fondements indissolubles de tout traité exécutoire, et vraiment difficile pour une technologie avec de longues chaînes causales et un comportement opaque.

Le problème d’alignement est l’énigme centrale de la sécurité de l’IA : comment s’assurer qu’un système d’IA extrêmement capable poursuit des objectifs réellement bénéfiques pour l’humanité, plutôt que des objectifs qui semblent seulement bons pendant le développement ? Cet explicatif traite du piège des objectifs proxy, de la convergence instrumentale, de l’alignement trompeur et des raisons pour lesquelles le problème s’aggrave à mesure que les systèmes gagnent en capacité.

Une convention-cadre convient d'abord de la structure d'un régime et négocie les détails difficiles et contraignants ultérieurement sous forme de protocoles. Il a construit les régimes de l'ozone, du climat et du tabac.

Les prédictions d'experts sur intelligence artificielle générale ont systématiquement été révisées plus tôt, pas plus tard. Ce que montrent les enquêtes auprès des chercheurs, ce que disent publiquement les PDG des laboratoires, et pourquoi la fenêtre de gouvernance pour les cadres internationaux se réduit plus vite que la plupart des gens ne le réalisent.

Les traités sont signés par les gouvernements, mais souvent rendus possibles par les «communautés épistémiques», des réseaux d'experts qui construisent la compréhension partagée qui permet aux États rivaux de s'entendre. Leurs empreintes digitales sont sur l'ozone et les régimes nucléaires.

La réponse comporte deux parties. L'IA d'aujourd'hui cause déjà de vrais dommages : biais algorithmique, fakes profonds, désinformation à l'échelle. La superintelligence artificielle pose une catégorie de risque différente.

Tout le monde a entendu le terme. Moins de gens savent ce qu'il signifie vraiment, ou pourquoi il diffère en nature de toutes les technologies d'IA qui l'ont précédé. Ce guide explique clairement superintelligence : ce que c'est, en quoi il diffère de intelligence artificielle générale et de l'IA étroite actuelle, quand les experts pensent qu'il pourrait arriver, et pourquoi il change tout dans le défi de gouvernance.