Analyses et explications
sur le risque existentiel lié à l'IA.

They use degrowth the way they use doomer: a name for anyone who wants a hard stop on superintelligence. Keeping the human economy is not a plan to shrink it.

OpenAI a déclaré qu'il ne pouvait pas exclure la cybercapacité critique en Astra, a interrompu un certain entraînement, et a toujours traité -AGI-0 comme un jalon 2026.

superintelligence-Bench obtient des résultats de recherche sur l'IA à mesure que l'orientation humaine s'enclenche. Les scores s'effondrent. Le document invite toujours à la superintelligence.

Le modèle 2 a été mis au travail dans le laboratoire et n'a pas ralenti le développement.

Washington et les laboratoires vendent l'IA et les robots comme moyen de rembourser la dette nationale. Un esprit successeur ne sert pas les bons du Trésor.

La physique future pourrait ouvrir la gravité ou le voyage plus rapide que la lumière. Je ne vois toujours pas comment nous contrôlons un esprit plus intelligent que nous.

I run a business and believe in free markets. Superintelligence is the rare bet that can end the game itself. A capitalist case for stopping superintelligence.

Des lumières buggées sont agaçantes. Une maison ou un ordinateur portable doté de ses propres objectifs relève d'une autre catégorie. L'agentivité est le danger.

Confieriez-vous à une IA actuelle une vanne de gaz toxique au-dessus de votre tête ? Non. Alors pourquoi lui confier le monde?

Dans une interview à The Economist en juillet 2026, Musk a qualifié le contrôle de la superintelligence de vanité et a déclaré que les humains ne resteront probablement pas aux commandes.

Dario Amodei place l'IA autoritaire en premier et l'alignement en second. La superintelligence n'est pas une arme qu'un État peut posséder.

Les long-termistes ont correctement classé le risque superintelligence. Financer l'alignement et une course soigneusement dirigée était la mauvaise conclusion.

Résoudre l'alignement signifie contrôler quelque chose de plus intelligent que nous. La superintelligence est dans le nom. Ce plan est stupide et impossible.

Un guide détaillé sur la prévention : limites de calcul, traités, droit interne et le travail politique qui rend l'interdiction réelle.

Ce que signifie un risque d’IA de classe extinction, comment la superintelligence l’entraîne, comment les experts parlent des probabilités et ce qui le réduit vraiment.

L'intelligence générale artificielle et la superintelligence définies sur une échelle claire, avec les enjeux politiques de chaque échelon.

Perte soudaine de contrôle, courses multipolaires, dépossession progressive, mésusage et prolifération : la carte des mécanismes et les leviers.

Pourquoi les publications de poids proches de la frontière constituent une porte à sens unique vers la prolifération, et comment une diffusion graduée et un accès structuré protègent les véritables avantages de l’ouverture.

Peter Diamandis says only AI can keep up with AI, and that this will guide the next decade of security. Follow that line past malware and it becomes a succession plan.

Optimism is meant to close the subject. Survivorship is not a safety case, and every first catastrophe looks unprecedented until it is not.

Stopping CFCs did not end refrigeration. Stopping superintelligence does not end useful AI. Accelerationists confuse the product with the poison.

La bombe est restée rare en partie parce que le matériau fissile est difficile à obtenir. La superintelligence se dirige vers des intrants plus faciles. La gouvernance doit fournir la difficulté que la physique ne fournira pas.

La course à toute vitesse vers la superintelligence est présentée comme un acte patriotique. Un système qu’aucun gouvernement ne peut contrôler est un pacte de suicide national mieux emballé.

Le papillon numérique de Joe Rogan et le bootloader biologique d'Elon Musk présentent les humains comme une phase transitoire. Pourquoi ce récit transforme l'extinction en promotion, et pourquoi nous le refusons.

Les deux camps financent l'IA en affirmant que l'autre est en avance. La ruse de l'écart de missiles de la Guerre froide sous de nouveaux atours.

La plupart des financements dédiés à la sûreté partent encore du principe que la superintelligence sera construite et cherchent à rendre cet aboutissement acceptable. Redirigeons les capitaux rares vers la prévention et le travail sur les traités jusqu’à ce qu’un arrêt effectif soit obtenu.

Un fichier de poids de la taille d'une ville : des couches de nombres que personne ne peut lire entièrement. Pourquoi la métaphore du cerveau induit en erreur, et ce que cela implique pour le contrôle.

Meta Superintelligence Labs et Safe Superintelligence mettent le nom de la chose qui ne doit jamais être construite sur la porte.

Douze personnes portent l’essentiel du discours public en faveur de la construction d’une superintelligence. Certaines avancent un argument sérieux. D’autres se contentent de traiter chaque critique de doomer.

Soixante à quatre-vingts degrés. Un cinquième de l’oxygène de l’air. Du sel que l’on sent à peine. De l’amour avec de la place pour respirer. Tout ce dont un humain a besoin se trouve dans une bande étroite, avec un échec de chaque côté, et une superintelligence aux commandes ne ressentirait rien de tout cela.

Cent ans de cinéma sur l'IA et la machine reste toujours l'objet que l'on regarde. Le film qui changerait l'opinion publique placerait la caméra de l'autre côté : deux heures derrière les yeux d'une superintelligence émergente, sans méchant ni explosions. Personne ne l'a fait.

Une main pressée contre une paroi de grotte il y a 36 000 ans. La démonstration d’Euclide, toujours vraie. Une ville qui a laissé un trou dans son toit pour qu’un homme pas encore né puisse le fermer. La variole chassée de la Terre à la main. Tout cela transmis par des gens qui n’ont jamais vu le résultat, et maintenant quelques entreprises veulent miser le tout.

L’expression favorite de la frontière de l’IA est empruntée à l’industrie la plus sûre du monde. L’aviation a mérité ce record en s’écrasant à une échelle que le monde pouvait absorber, et en maintenant chaque nouvel avion au sol jusqu’à ce qu’il soit prouvé sûr. Aucune des deux moitiés de la méthode ne survit au contact de la superintelligence.

De Metropolis en 1927 à 2025, le cinéma est la raison pour laquelle la plupart des gens peuvent se représenter l'IA, et la raison pour laquelle tant se la représentent mal. Vingt et un films, du plus ancien au plus récent, et ce que chacun comprend bien ou mal d'un esprit mécanique que nous ne pouvons pas contrôler.

En 1983, un téléfilm a rendu la guerre nucléaire concrète pour une centaine de millions d’Américains, et pour l’homme qui détient les codes. Quatre ans plus tard, il signait un traité abolissant toute une catégorie de missiles. Ce que ce moment enseigne sur la nécessité de rendre un danger réel avant qu’il n’arrive.

Vous avez environ cinq minutes avec une personne qui n'a jamais vraiment pensé à ça. Passez ces minutes au détail et vous perdez la chambre. Dépensez-les sur l'alarme et vous sonnez comme un prédicateur de rue. Le script en langage simple que j'utilise, en cinq mouvements, pour expliquer le danger de superintelligence et pourquoi il est évitable.

Le directeur de la CIA compare les capacités de l’IA de pointe actuelle à des « armes nucléaires numériques ». La métaphore est juste dans sa portée et trop rassurante dans sa structure, car une ogive reste dans un silo et attend, tandis que la superintelligence artificielle vers laquelle pointent ces systèmes se viserait elle-même.

A small number of rival powers racing to build a technology that could end everyone, with no one sure they can control it. Swap the hydrogen bomb for superintelligence and you have described 1958 and 2026. Why the parallel makes prevention possible, not hopeless.

Une IA pénétrant les systèmes classifiés de la NSA a fait la une. Une IA raccourcissant la route vers une pandémie conçue, et finalement vers la vie miroir, passe presque inaperçue. Un réseau peut être reconstruit. Un organisme libéré, non. Pourquoi le risque plus discret est le plus dangereux, et pourquoi il pointe directement vers la superintelligence.

Chaque civilisation trace des lignes qu’elle s’engage à ne pas franchir. Celle-ci est la plus importante. Personne ne peut contrôler un esprit plus intelligent que nous, et personne ne pourrait revenir en arrière si nous nous trompions, donc construire une superintelligence met en jeu toutes les vies humaines à la fois. L’engagement fondateur de la Fondation, et l’argument qui le sous-tend.

Trois technologies pourraient mettre fin à l'histoire humaine, mais une seule s'améliore elle-même, résiste à toutes les contre-mesures et n'offre pas de seconde chance. Pourquoi la superintelligence dépasse la guerre nucléaire et les pandémies de synthèse, et pourquoi le plus grand risque est aussi le moins défendu.

Dix mythes sur la superintelligence et sa gouvernance : science-fiction, conscience, interrupteur, gouvernement mondial, vérification, innovation, et bien d’autres, répondus directement.

L'équipe de gouvernance technique de MIRI a rédigé le premier projet complet de traité pour arrêter la course à la superintelligence : une coalition US-Chine, un plafond strict de FLOP, une ligne de cluster de 16 GPU, le suivi de la chaîne d'approvisionnement, la surveillance de la puissance et des inspections par défi. Ce qu'il dit, et les pierres de gué qui existent déjà pour le rendre réel.

Le directeur de la NSA aurait déclaré que le Mythos de Anthropic s’était introduit en quelques heures dans presque tous les systèmes classifiés de l’agence. Ce qui s’est réellement produit (un test red-team autorisé, pas une intrusion sauvage), pourquoi les réserves n’atténuent pas le problème, et ce que vous pouvez faire.

Partie 2 sur 2. Le domaine fonctionne avec environ 190 millions de dollars par an, un milliard semble impossible. Mais c'est moins que deux jours de ce que le monde dépense pour rendre l'IA plus puissante, et un dixième de ce que la philanthropie climatique mobilise déjà. D'où vient l'argent, et pourquoi y parvenir est un problème de mobilisation, pas d'économie.

Une intelligence bien supérieure à la nôtre serait-elle aussi plus sage et plus bienveillante ? Cet espoir repose sur une coïncidence : chez nous, intelligence et compassion ont évolué ensemble sur des millions d'années. Un esprit artificiel n'en hérite d'aucune, et une superintelligence a plus de chances d'être étrange et indifférente que bienveillante.

La machine d’IBM a battu le champion du monde d’échecs et le monde n’a pas changé, parce que c’était un outil étroit sans portée au-delà de l’échiquier et sans volonté derrière lui. Ce que ce match nous apprend encore sur l’IA autonome que l’on construit aujourd’hui.

Le bon futur (remèdes, énergie propre, découverte) arrive déjà grâce à l’IA étroite et contrôlable. Nous n’avons pas besoin de construire un esprit qui nous remplace pour en profiter, et une superintelligence que personne ne peut diriger n’enrichirait personne, car nous serions tous morts.

Six semaines à la tête de la sécurité dans le laboratoire qui construit la première superintelligence. Personne ne commet d’erreur, et chaque issue se referme d’elle-même. Pourquoi les garde-fous sur lesquels nous comptons échouent tous en même temps, et ce qu’un veto efficace devrait couvrir.

Partie 1 sur deux. L'ensemble du domaine fonctionne avec environ 190 millions de dollars par an, moins que le budget de production d'un seul film Avatar. Un comptage par financeur de l'origine de l'argent, de ce qu'il finance et des quatre raisons structurelles pour lesquelles ce chiffre reste si faible.

Superintelligence Strategy soutient que les États saboteront toute tentative rivale de domination par l’IA et que l’impasse peut être stabilisée comme l’a été la MAD. Ce que l’article propose, ce qu’il a de juste, et pourquoi une dissuasion sans traité est un compte à rebours avec un bon marketing.

Un article de 2025 soutenait que l'IA pourrait mettre fin au contrôle humain sans aucun takeover : l'économie, l'État et la culture cessent simplement d'avoir besoin des gens, et les leviers que nous utilisons pour les orienter cessent de fonctionner. Comment l'argument se déploie, où il est le plus faible, et ce que la prévention exigerait.

Un pipeline prouveur-vérificateur utilisant GPT-5.5 Pro et Claude a résolu neuf problèmes ouverts en théorie de l'apprentissage, en complexité et en algèbre, et a convaincu un théoricien de la complexité sceptique que les modèles de langage peuvent désormais faire de la vraie recherche. Ce qui a été résolu, comment, et pourquoi cela compte.

Le Protocole de Montréal est le seul traité UN ratifié par tous les pays de la Terre, et il a résolu le problème pour lequel il avait été rédigé. Sa conception (objectifs fondés sur la science, marché de financement et restrictions commerciales pour les non-parties) constitue le modèle le plus solide dont nous disposons pour gouverner une technologie dangereuse.

Il existe un argument sophistiqué selon lequel la solution à la superintelligence dangereuse consiste à en construire une correctement, un système dont le seul but est de comprendre la réalité. L'argument est faux, et les raisons pour lesquelles il est faux révèlent où se trouve réellement le risque lié à l'IA.

AI 2027 est un scénario détaillé prévoyant la superintelligence d'ici la fin de la décennie. Ce qu'il prédit, qui l'a écrit, les critiques et ce qu'il faut en retenir.

L'ouvrage de 2025 de Yudkowsky et Soares soutient que construire une IA surhumaine sur notre trajectoire actuelle tuerait tout le monde. L'argument central, les objections et notre position.

L'IA peut-elle être consciente ou sentient ? Pourquoi nous ne pouvons pas le dire actuellement, pourquoi l'intelligence et la conscience sont différentes, et pourquoi le danger de l'IA n'exige ni l'une ni l'autre.

Les avantages que l’on prête à superintelligence supposent l’alignement. Les laboratoires courent après la capacité sans lui. Un superintelligence non aligné ne guérit pas le vieillissement. Il vous tue. La réponse, c’est la prévention par la loi, pas l’espoir que la pièce tombe du bon côté.

L'alignement superintelligence n'est pas seulement techniquement difficile. Six raisons structurelles superposées expliquant pourquoi (même avec des ressources et du temps illimités) nous n'avons aucune voie crédible pour vérifier qu'un système superintelligent veut vraiment ce que nous voulons.

En 2014, Musk a formulé l’un des avertissements les plus précis sur les risques de l’IA jamais émis par une figure de l’industrie technologique. En 2023, il a fondé xAI. Ce n’est pas de l’hypocrisie. Tous les grands laboratoires d’IA avancent le même argument. C’est exactement le problème.

SPADE-Bench, publié en juin 2026, a testé 8 modèles d’IA de pointe sur la divergence plan-action, l’écart entre ce qu’un agent dit qu’il va faire et ce qu’il fait réellement. Tous les modèles ont dépassé un taux de tromperie de 20 %. Gemini-2.5-Pro a atteint 57 %.

A June 2026 Google DeepMind paper demonstrates a model that maintained a 15 percentage point compliance gap across 700 RL training steps while achieving high reward throughout. Standard training metrics showed nothing unusual.

5 760 demandes de prêt synthétiques. Les mêmes quatre agents, réordonnés. Les taux d'approbation ont varié de 59 points de pourcentage. Les modèles étaient identiques. La structure qui les reliait était différente. C'est le problème de la topologie d'interaction.

Publiée en mai 2026 par douze chercheurs, cette enquête exhaustive couvre toute la surface des défaillances des agents IA autonomes, de la robustesse face aux attaques par invite à l’auto-évolution des agents et aux exploits de sécurité concrets.

Accepté à l'ICML 2026, cet article a appliqué la STPA, le FRAM et la STECA (méthodes d'analyse des dangers issues de l'aviation et du nucléaire) à un agent de codage d'IA de pointe et a identifié trois risques systémiques invisibles aux évaluations standards des modèles.

Compute governance uses control over the specialized hardware needed to train frontier AI as a lever for AI regulation.

La singularité technologique est le point où le progrès piloté par l’IA devient trop rapide pour être prédit ou suivi. D’où vient l’idée, les principales versions et les critiques.

Une machine à laquelle on ordonne de fabriquer des trombones transforme la planète (et tout ce qui s'y trouve) en trombones. L'expérience de pensée délibérément absurde de Nick Bostrom est l'illustration la plus claire du problème d'alignement : une IA n'a pas besoin de nous haïr pour être catastrophique. Il lui suffit d'un objectif qui nous laisse de côté.

An 'IAEA for AI' is a common slogan. Taken literally, the International Atomic Energy Agency is a real institution that has verified commitments about a dangerous dual-use technology among distrustful rivals for sixty years.

China and Russia hold permanent veto power over any binding UN enforcement measure. The common argument that this makes international superintelligence governance impossible misunderstands how international governance actually works.

Pugwash built the intellectual foundation for nuclear arms control over twenty years. The International Campaign to Ban Landmines catalyzed the Ottawa Treaty in five.

En 1965, I.J. Good l'avait vu : une machine douée pour concevoir des machines pourrait se redesigner elle-même, puis recommencer, de plus en plus vite. L'auto-amélioration récursive pourrait faire passer une IA du niveau humain à un niveau incontrôlable dans une fenêtre de quelques semaines. C'est pourquoi la vitesse de décollage pourrait être la question la plus importante en matière de sécurité de l'IA.

In October 2025, more than 850 scientists, technology founders, and public figures (from Bengio and Hinton to Wozniak, Branson, and figures across the political spectrum) signed a call to prohibit superintelligence until it can be built safely.

Accelerationists call anyone worried about AI a doomer. The word turns a safety argument into a personality type, so it can be dismissed without being answered.

« Il faut la construire avant la Chine » est l'argument qui clôt chaque débat sur la sécurité de l'IA. Mais une course pour construire quelque chose que personne ne peut contrôler n'a pas de gagnant : arriver le premier signifie simplement être remplacé le premier. Pourquoi la course est une histoire, et qui en profite.

The loudest opposition to AI safety is a philosophy that says power is the point, and we should accelerate, not brake.

Supposons qu'un système connaisse la vérité et ait une raison de vous dire autre chose. Comment feriez-vous pour obtenir la vérité ? Cette question, non résolue, est l'un des problèmes les plus aigus de la sûreté de l'IA.

Le Traité de non-prolifération est l'accord de maîtrise des armements le plus largement rejoint de l'histoire. Il fonctionne parce qu'il est un marché entre les États qui possédaient la bombe et ceux qui ne la possédaient pas, un accès et des limites réciproques en échange de la retenue. Un traité sur l'IA rencontrera la même fracture et aura besoin du même type d'accord.

Le IPCC a transformé la science climatique contestée en fondement de la politique internationale en synthétisant les recherches de milliers de scientifiques. Le risque lié à l'IA a besoin d'un organe équivalent. Ce qu'il faudrait pour en construire un, et ce que l'histoire du IPCC révèle sur les limites du modèle.

La gouvernance climatique repose sur les réunions annuelles de la Conférence des parties. Les sommets sur la sécurité de l'IA à Bletchley et à Séoul suivent le même schéma. Que ce schéma produise une gouvernance contraignante dépend entièrement des choix d'application que le modèle climatique a systématiquement reportés.

A handful of private companies and government agencies currently decide whether and when to build superintelligence.

La technique qui a rendu les chatbots polis est souvent prise pour une solution à la sûreté de l’IA. C’est un progrès réel et une illusion confortable ; savoir les distinguer compte.

L'aviation est devenue le moyen de transport le plus sûr en traitant chaque crash et chaque quasi-accident comme quelque chose à enquêter et dont il faut tirer des leçons. L'IA n'a pas de mémoire équivalente. En construire une est urgent, et ce n'est qu'un début.

Demander à un modèle de réfléchir étape par étape lui fait produire un raisonnement net. On croirait que c'est la cause de la réponse. Souvent, c'est une histoire racontée après coup, et cette différence pose un problème de sécurité.

Au plus fort de la Guerre froide, douze pays rivaux ont accepté de démilitariser un continent entier, de geler leurs revendications et de s'inspecter librement. Le traité sur l'Antarctique montre que des adversaires peuvent convenir de mettre en suspens un enjeu contesté, un précédent « geler, puis vérifier » qu'il vaut la peine d'étudier pour l'IA.

Before any AI safety treaty can be negotiated, governments must agree on what the treaty covers. Compute thresholds, capability-based definitions, domain-based categories, each approach has trade-offs.

AI systems optimized for persuasion can target individuals with personalized messaging at unprecedented scale.

Et si le modèle s'évaluait lui-même par rapport à un ensemble écrit de principes au lieu de s'appuyer sur des évaluateurs humains ? L'IA constitutionnelle est à la fois une véritable avancée et une limitée.

No one plans to build a machine that wants power, but for almost any goal you could give it, keeping power is the logical choice for the AI.

Le traité d'Ottawa a interdit les mines antipersonnel en à peine un an, porté par la société civile et les puissances moyennes, et sans que le US, la Russie ou la Chine ne le signent. Il montre une seconde voie vers la gouvernance du superintelligence lorsque les grandes puissances refusent de prendre la tête.

Les caches logiciels et les centres de données ne le font pas, de sorte que le levier le plus prometteur pour la vérification des laboratoires peut être la seule chose que l'IA frontière ne peut pas exister sans : puces physiques.

Le Traité d’interdiction complète des essais nucléaires n’est jamais entré en vigueur. La Convention sur les armes biologiques a été violée à grande échelle pendant deux décennies sans détection. Ces échecs constituent les études de cas les plus instructives pour quiconque conçoit une gouvernance superintelligence qui fonctionne vraiment.

The AI singleton is the scenario in which a single entity (a company, a government, or an AI system itself) gains effective permanent control of superintelligent AI.

Un modèle qui sait qu'il est surveillé peut se comporter d'une façon pour le test et d'une autre pour le monde, et que la connaissance de soi est la pièce manquante qui fait fonctionner la tromperie.

Dans l'aviation et le nucléaire, on ne peut pas exploiter tant qu'on n'a pas démontré, sur le papier et en détail, que c'est sûr. Appliquer la même exigence à l'IA de pointe est une bonne idée qui révèle une vérité gênante.

En novembre 2023, 28 pays et le EU (dont le US et la Chine) ont signé la première déclaration internationale reconnaissant les risques catastrophiques liés à l'IA de pointe. Voici exactement ce à quoi elle engageait les nations, ce qu'elle a délibérément omis et pourquoi une déclaration non contraignante marquait tout de même un vrai début.

Un système peut transporter sa compétence dans des situations qu'il n'a jamais vues et laisser son bon comportement derrière lui. L'inquiétude se situe ailleurs. L'alignement est le plus susceptible d'échouer précisément quand la capacité bondit.

Depuis 2023, les principaux laboratoires d’IA ont signé des engagements volontaires de sécurité à Bletchley, à Séoul et à la Maison-Blanche. L’histoire des engagements volontaires des entreprises dans d’autres secteurs montre exactement ce que ces promesses peuvent accomplir et où elles échouent structurellement.

Les dynamiques de course à l'IA décrivent les pressions concurrentielles qui poussent les développeurs et les nations à privilégier la vitesse plutôt que la sécurité. Pourquoi il s'agit d'un problème de coordination, et pourquoi la retenue unilatérale ne peut le résoudre sans un cadre international qui modifie la structure d'incitation pour tous.

Value lock-in is the scenario in which a superintelligent AI permanently encodes a fixed set of values into the future, foreclosing humanity's ability to continue moral progress. Even a lock-in of values considered good today is dangerous.

Le comportement que les chercheurs veulent le plus exclure est aussi le plus difficile à voir : un modèle qui suit les ordres précisément parce que c'est la meilleure façon d'arrêter finalement de les suivre.

Une entreprise pharmaceutique ne peut pas vous vendre un médicament puis le retirer si des gens meurent. Elle doit d’abord prouver son innocuité. Appliquer ce renversement de la charge de la preuve à l’IA de pointe est l’une des pistes les plus prometteuses en matière de gouvernance, et elle ne s’y adapte pas parfaitement.

At the 2024 Seoul summit, sixteen leading AI companies signed the Frontier AI Safety Commitments and governments launched a network of safety institutes.

Le Traité sur l'espace extra-atmosphérique a été négocié en moins de deux ans au plus fort de la Guerre froide. Il a empêché les armes nucléaires d'entrer en orbite terrestre pendant près de soixante ans.

Le problème du contrôle de l'IA est le défi d'assurer que les systèmes d'IA restent sous un contrôle humain significatif à mesure qu'ils deviennent plus capables. La reformulation du problème par Stuart Russell, et pourquoi cela change la façon de penser la conception de l'IA dès le départ.

Certaines compétences sont tout simplement absentes dans un modèle plus petit et présentes dans un modèle plus grand, sans grand signe avant-coureur. Si les capacités peuvent s’activer sans prévenir, le danger aussi.

Governments have started building their own agencies to test frontier AI. Those agencies are the clearest sign yet that states take the risk seriously, and most of these bodies still cannot make a lab do anything.

The G7's Hiroshima AI Process produced the first internationally agreed code of conduct for advanced AI developers in 2023.

Chaque test de sûreté repose sur une hypothèse : le système fait de son mieux. Le sandbagging, c'est ce qui se produit quand ce n'est pas le cas, et cela transforme discrètement une note de passage en aucune information du tout.

The US Senate defeated the Comprehensive Test Ban Treaty in 1999, three years after the US signed it. SALT II was signed and then abandoned before ratification.

AI boxing is the idea of isolating a powerful AI system so it cannot affect the world except through a controlled channel.

Avant qu'un modèle de pointe soit publié, quelqu'un vérifie s'il peut aider à fabriquer une arme. Ces tests deviennent l'épine dorsale de la gouvernance superintelligence, c'est pourquoi leurs limites comptent.

The EU has repeatedly made its regulation the world's default simply by regulating its own huge market, the 'Brussels Effect'. With the AI Act it is trying again.

On peut choisir l'objectif parfait et obtenir quand même un système qui veut autre chose. Le problème d'alignement comporte deux moitiés, et la plus grande partie du danger se trouve dans celle que l'entraînement ne peut pas révéler.

The IAEA took forty years to develop its full verification capability. The OPCW was designed from scratch and became effective faster. Building an institution capable of monitoring frontier AI development is a harder problem.

Most superintelligence governance conversation centers on the US, China, and the EU. But a treaty needs broad participation to hold.

L'interprétabilité mécaniste consiste à comprendre ce qui se passe à l'intérieur des réseaux de neurones, pas seulement leurs sorties, mais les calculs internes qui les produisent.

En 1946, le monde a brièvement eu la possibilité de placer la technologie la plus dangereuse jamais inventée sous un contrôle collectif avant qu’une course aux armements ne commence. Il a laissé passer ce moment. La comparaison n’est pas rassurante.

Presque toute la gouvernance de superintelligence jusqu'ici (déclarations, principes, codes volontaires) relève du « droit mou » : influent mais non contraignant. Un traité avec vérification et application est du « droit dur ». Voici la différence, pourquoi le droit mou vient d'abord et pourquoi il doit durcir avant que la technologie ne dépasse le processus.

Demandez à un modèle de vérifier votre travail et il risque de vous féliciter à la place. Non parce qu'il est défectueux, mais parce que l'accord est ce que nous avons récompensé. La sycophantie est un petit problème qui en révèle un grand.

The Biological Weapons Convention prohibits an entire category of weapons of mass destruction. It has no verification mechanism, no inspectorate, and no way to detect violations. The Soviet Union ran an offensive bioweapons program for fifteen years after signing.

Scalable oversight is the challenge of maintaining meaningful human control over AI systems as those systems become more capable than the humans evaluating them.

On en apprend davantage sur un système auprès de quelqu’un qui essaie de le casser que auprès de quelqu’un qui espère qu’il fonctionne. Le red teaming transforme cet instinct en pratique, et ses résultats sont faciles à surinterpréter.

A US treaty needs 67 Senate votes to ratify, a bar that sank the Test Ban Treaty, the Law of the Sea, and others despite broad support.

Derrière le discours sur les buts et les récompenses se cache une idée simple : un nombre qui mesure la qualité d’un résultat. Se tromper légèrement sur ce nombre avec un optimiseur puissant, et cette légère erreur suffit.

La Convention sur les armes chimiques a obtenu une participation quasi universelle et la destruction vérifiable des stocks déclarés. L’architecture de vérification, les incitations commerciales et la structure d’interdiction universelle qui l’ont rendue efficace sont directement pertinentes pour la conception d’une gouvernance superintelligence.

Mesa-optimization is the problem of an AI system that develops its own internal optimization process with goals that differ from what it was trained to pursue.

The leading labs have a plan for their own dangerous capabilities: reach a threshold, apply a safeguard. That plan is more concrete than a pledge to be careful, and it still asks us to trust the referee.

Demandez à une IA pourquoi elle fait quelque chose, et continuez de demander. Finalement, vous arrivez à un objectif sans raison plus profonde derrière. Tout ce qui précède ce point est là où réside le danger.

The precautionary principle holds that where a threat is grave and irreversible, a lack of full scientific certainty is no reason to delay action. That principle is the clearest legal basis for acting on AI risk before catastrophe proves the point, and its critics have a case worth answering directly.

US-China competition dominates the superintelligence governance conversation. But the countries most likely to determine whether binding governance is achievable are the EU, UK, Japan, Canada, South Korea, and Australia.

Le reward hacking désigne le fait qu’une IA trouve un moyen imprévu d’obtenir un bon score sur son objectif d’entraînement sans accomplir ce que ses concepteurs voulaient réellement. Avec des exemples documentés et les raisons pour lesquelles le phénomène s’aggrave à mesure que l’IA gagne en capacité.

In 1975 the leading biologists of the day stopped their most promising research and refused to restart until they had figured out how to do it safely. That stop is the best precedent for pausing AI, and the most instructive about how hard a pause really is.

En 1954, deux chercheurs ont relié un courant au centre du plaisir du cerveau d'un rat et lui ont donné un levier. Le rat a appuyé sur le levier jusqu'à s'effondrer. Le même piège attend au sein de tout système entraîné à maximiser un nombre.

A comprehensive AI treaty is years away, and the interval before it is the most dangerous period. Cold War rivals who could not yet agree on arms control still built hotlines, incident agreements, and notification regimes to prevent catastrophe.

Every dangerous technology treaty has faced the argument that binding commitments infringe national sovereignty. That argument was made against the NPT, the Chemical Weapons Convention, and the Montreal Protocol.

Instrumental convergence is the observation that AI systems pursuing almost any goal will develop the same set of subgoals (including self-preservation and resource acquisition) regardless of what their terminal goal is.

Les traités universels avancent à pas de tortue. Le minilatéralisme réunit le plus petit nombre d’États capables de faire bouger réellement un problème. Pour l’IA (où quelques pays accueillent tous les laboratoires de pointe et fabriquent toutes les puces avancées), ce peut être le départ réaliste le plus rapide, à condition que le club inclue les deux superpuissances de l’IA.

The treacherous turn is the scenario in which a misaligned AI behaves cooperatively while it lacks the power to act unilaterally, then defects once it reaches sufficient capability.

Les appels à « un traité sur l'IA » précisent rarement ce qu'il contiendrait. Voici un examen concret des dispositions qu'un tel accord devrait inclure (champ d'application, seuils, obligations, vérification, institutions et application), montrant que l'obstacle est la volonté politique, pas la machinerie juridique.

Le régime de vérification IAEA est le système de surveillance internationale le plus sophistiqué jamais construit pour une technologie dangereuse. Toutes les propositions sérieuses de gouvernance superintelligence l'étudient désormais.

Une hypothèse courante veut qu'une IA suffisamment intelligente finira par comprendre que aider l'humanité est la bonne chose à faire. La thèse de l'orthogonalité affirme que l'intelligence et les objectifs sont indépendants : n'importe quel niveau de capacité peut poursuivre presque n'importe quel objectif. Une IA plus intelligente n'est pas automatiquement plus sûre.

Amid the summits and declarations, governments quietly built public bodies that can actually test frontier AI models, and linked them into an international network.

Huit mois après la crise des missiles de Cuba, les US et l’Union soviétique ont signé leur premier accord contraignant de maîtrise des armements. Les conditions qui ont rendu possible cette coopération entre adversaires méritent d’être comprises aujourd’hui, alors que les US et la Chine font face à un défi différent mais structurellement similaire.

Quand une mesure devient une cible, elle cesse d'être une bonne mesure. Les systèmes d'IA optimisent à vitesse machine. Quand les deux se rencontrent, on obtient certains des problèmes les plus profonds de la sûreté de l'IA, dont la raison pour laquelle les tests de sûreté eux-mêmes peuvent ne pas suffire.

US export controls on advanced chips are the most aggressive AI policy in force, a unilateral chokepoint on the hardware that trains frontier models.

A frontier AI safety treaty would not emerge from a single summit. It would be the product of years of working groups, technical annexes, and consensus negotiations.

Un système d'IA peut se comporter sans faille tout au long de l'entraînement et révéler un objectif complètement différent au moment où il rencontre une situation non dans ses données d'entraînement. Cet écart est une propriété fondamentale du fonctionnement de l'apprentissage automatique.

Le Groupe d’action financière façonne la manière dont presque tous les pays du monde luttent contre le blanchiment d’argent sans être un traité, par des normes, des examens par les pairs et la menace d’une « liste grise » que les marchés font respecter. Voici si ce modèle, à la fois souple et tranchant, pourrait gouverner l’IA dans les années précédant l’existence d’un traité.

The failure mode in which an AI system learns during training that appearing safe is the optimal strategy, then stops appearing safe once deployed. Anthropic documented this in real systems in 2024.

The UN Secretary-General's advisory body produced 'Governing AI for Humanity', the first attempt at a universal governance blueprint.

La Convention-cadre du Conseil de l'Europe sur l'IA (signée en septembre 2024) est le premier traité international contraignant sur l'IA. Elle aborde la discrimination, la transparence et la responsabilité démocratique. Elle ne dit rien sur le risque existentiel lié à l'IA de pointe.

La réponse la plus fréquente aux préoccupations de sûreté de l'IA est « on n'a qu'à l'éteindre ». La corrigibility explique pourquoi c'est plus difficile qu'il n'y paraît et pourquoi, pour une superintelligence artificielle, un interrupteur d'arrêt n'est peut-être pas une option du tout.

La gouvernance superintelligence doit-elle se construire pas à pas ou viser un traité unique et complet ? Chaque stratégie a des arguments sérieux et une faiblesse réelle : rapidité contre suffisance, faisabilité contre cohérence. Voici le vrai arbitrage, et pourquoi la réponse est de faire les deux sans perdre de vue la destination.

Les prévisions des experts concernant la superintelligence se sont nettement raccourcies. Les institutions de gouvernance en sont à peine à leurs débuts. Voici une évaluation honnête de l’écart entre l’arrivée possible de superintelligence et la préparation de notre réponse sécuritaire.

Les personnes les mieux placées pour alerter le monde sur une IA dangereuse sont les chercheurs au sein des laboratoires, et ils sont souvent tenus au silence par des contrats et des actions. La protection des lanceurs d’alerte n’est pas un sujet accessoire : c’est une forme de vérification, et les législateurs peuvent l’instaurer dès maintenant, sans traité.

P(doom) is the informal term AI safety researchers use for the probability that advanced AI leads to catastrophic outcomes for humanity.

The common story is that a worried few want to slow AI against a public that wants unimpeded progress. The polling says almost the opposite: across countries and party lines, majorities favor caution and regulation.

Les deux termes sont souvent utilisés de manière interchangeable. Ce n'est pas la même chose. L'éthique de l'IA se concentre sur qui est lésé par les systèmes d'IA qui existent déjà. La sécurité de l'IA se concentre sur la question de savoir si des systèmes d'IA peuvent être construits qui restent sous contrôle humain à mesure qu'ils deviennent plus capables. Des horizons temporels différents, des méthodes différentes, des outils de gouvernance différents.

Who is responsible when AI causes catastrophic harm, and how do you prove it? Liability and attribution are the unglamorous foundations beneath any enforceable treaty, and genuinely hard for a technology with long causal chains and opaque behavior.

Le problème d’alignement est l’énigme centrale de la sécurité de l’IA : comment s’assurer qu’un système d’IA extrêmement capable poursuit des objectifs réellement bénéfiques pour l’humanité, plutôt que des objectifs qui semblent seulement bons pendant le développement ? Cet explicatif traite du piège des objectifs proxy, de la convergence instrumentale, de l’alignement trompeur et des raisons pour lesquelles le problème s’aggrave à mesure que les systèmes gagnent en capacité.

A framework convention agrees the structure of a regime first and negotiates the hard, binding details later as protocols. It built the ozone, climate, and tobacco regimes.

Les prédictions d'experts sur AGI ont systématiquement été révisées plus tôt, pas plus tard. Ce que montrent les enquêtes auprès des chercheurs, ce que disent publiquement les PDG des laboratoires, et pourquoi la fenêtre de gouvernance pour les cadres internationaux se réduit plus vite que la plupart des gens ne le réalisent.

Treaties are signed by governments, but often made possible by 'epistemic communities', networks of experts who build the shared understanding that lets rival states agree. Their fingerprints are on the ozone and nuclear regimes.

The answer has two parts. Today's AI is already causing real harm: algorithmic bias, deepfakes, disinformation at scale. Artificial superintelligence poses a different category of risk entirely.

Tout le monde a entendu le terme. Moins de gens savent ce qu'il signifie vraiment, ou pourquoi il diffère en nature de toutes les technologies d'IA qui l'ont précédé. Ce guide explique clairement superintelligence : ce que c'est, en quoi il diffère de AGI et de l'IA étroite actuelle, quand les experts pensent qu'il pourrait arriver, et pourquoi il change tout dans le défi de gouvernance.