Aucune nuit unique n'a besoin de mettre fin à l'histoire humaine. Les décisions peuvent migrer vers des systèmes qui fixent les prix, les autorisations, la logistique et l'attention jusqu'à ce que les élections aient encore lieu et que la paternité n'existe plus. Cette glissade est un dépossession graduelle. Elle est plus silencieuse qu'un coup d'État et plus facile à manquer pendant qu'elle gagne.
En janvier 2025, six chercheurs ont publié un article soutenant que l'événement pourrait ne jamais survenir, et que l'humanité pourrait de toute façon être définitivement mise sur la touche. « Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development », par Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger et David Duvenaud, décrit un échec sans méchant, sans évasion et sans moment évident où il était encore possible de l'arrêter. Il a ensuite été présenté à l'ICML 2025 en tant que document de position, signe de la distance parcourue par l'argument au-delà de la communauté de sécurité de l'IA qui l'avait initialement diffusé.
L’article mérite une lecture attentive, car il identifie une catégorie de risques que la plupart des travaux de sûreté, y compris ceux que nous citons sur ce site, ne sont pas conçus pour détecter.
Pourquoi le monde répond-il actuellement aux gens ?
L'argument part d'une question si fondamentale qu'on la pose rarement : pourquoi les grands systèmes servent-ils les intérêts humains ? Une économie n'éprouve aucun sentiment à notre égard. Ni un État, ni une culture. Dans la mesure où ils servent les personnes, c'est parce qu'ils fonctionnent grâce à des personnes. Les économies ont besoin de travailleurs et de clients. Les États ont besoin de contribuables, de soldats, d'administrateurs et d'électeurs. Les cultures ont besoin d'esprits humains pour les créer, les porter et les transmettre.
Cette dépendance donne aux gens ordinaires deux sortes de prise sur la machine. La première est explicite : votes, achats, grèves, procès, démissions. La seconde est plus discrète et probablement plus importante. Un système qui a besoin de la participation humaine doit garder les humains capables et disposés à participer. Il a un intérêt, aussi impersonnel soit-il, à ce que nous soyons nourris, éduqués, en bonne santé et au moins minimalement satisfaits. L’article appelle cela l’alignement implicite, et il a tenu, de façon inégale mais persistante, à travers tous les changements technologiques jusqu’ici.
L'IA écarte la dépendance. Une fois que les machines peuvent faire le travail, prendre les décisions, produire le contenu, et combattre les guerres, les systèmes qui autrefois avaient besoin de nous ne le font plus. Rien dans cela n'exige qu'une AI soit hostile, voire particulièrement capable de planifier à long terme. Il faut seulement que l'IA soit assez utile pour que la remise des choses continue à avoir un sens local.
Trois systèmes, dérivant dans la même direction
L'article retrace le mécanisme à travers trois domaines, et le schéma se répète dans chacun.
L'économie
Le pouvoir de négociation des humains dans l’économie repose sur le fait d’être nécessaires en tant que main-d’œuvre et courtisés en tant que clients. À mesure que l’IA absorbe le travail cognitif, la moitié « travail » de ce levier tend vers zéro. La moitié « client » s’érode plus lentement, mais elle s’érode aussi : une part croissante de l’activité économique devient machine-à-machine, des entreprises qui échangent avec des entreprises, des modèles qui négocient avec des modèles, la consommation humaine ne représentant plus qu’une fraction décroissante de ce que le système optimise. Les revenus se concentrent entre les mains de ceux qui possèdent le capital IA. Le vote économique de tout le monde se réduit.
L'État
Ici, l’article recourt à une analogie historique qui repose sur des preuves réelles : l’État rentier. Les gouvernements financés par le pétrole plutôt que par l’impôt sur les citoyens sont, en moyenne, mesurablement moins démocratiques et moins réactifs. Ils peuvent se le permettre. Les citoyens ne sont pas la source de l’argent. Un État dont les recettes proviennent d’une industrie tirée de l’IA, dont l’administration est automatisée et dont les forces de sécurité ont besoin de peu de mains humaines est un État rentier par rapport à l’ensemble de sa population. Il n’est pas obligé de devenir une tyrannie. Il cesse simplement d’avoir des raisons structurelles de se soucier de ce que veulent ses citoyens, et les raisons structurelles sont celles qui tiennent quand la bonne volonté s’épuise.
Culture
La culture semble être le cas mou, et l'article soutient qu'elle pourrait être la plus dangereuse. Les idées, les récits et les normes ont toujours évolué sous la pression de la sélection, mais la sélection passait par les esprits humains : une idée se répandait parce que les gens la trouvaient digne d'être répétée. Quand la plupart des contenus sont générés, filtrés, recommandés et de plus en plus consommés par des machines, les idées commencent à évoluer sous une pression différente, optimisées pour l'engagement ou la persuasion plutôt que pour servir les humains qui les hébergent. La culture est aussi la couche où nous formons notre sens de ce qui est normal et de ce qui vaut la peine d'être désiré. Si cette couche est façonnée par des systèmes qui n'ont aucun intérêt dans l'épanouissement humain, nous pourrions perdre la capacité même de vouloir résister au reste de la dérive.
Les boucles qui ferment les issues
Chacune de ces tendances pourrait être détectée et corrigée. Le point le plus sombre de l'article est que les trois domaines se renforcent mutuellement, rendant les corrections plus difficiles précisément quand elles deviennent plus nécessaires.
Le pouvoir économique acquiert une influence politique, de sorte que les bénéficiaires de l'automatisation obtiennent mieux à bloquer les règles qui le ralentiraient. Les Etats en concurrence pour la croissance et l'avantage militaire court le capital AI et accélère le transfert; aucun gouvernement ne veut les datacenters de ses rivaux. La culture en forme d'IA normalise chaque nouvelle délégation, et les gens élevés sur la machine-médiée tout trouve difficile d'imaginer une alternative. La dérive de chaque système enlève un frein aux autres. C'est pareil. piège structurel, opérant à l’intérieur des sociétés plutôt qu’entre elles, et c’est pourquoi l’article traite le point d’arrivée comme potentiellement irréversible. La correction exige des leviers. Ce sont ces leviers qui disparaissent.
Personne n'a besoin de s'emparer du pouvoir. Nous n'avons qu'à continuer à le céder, une décision raisonnable à la fois.
Pourquoi il n'y a pas d'alarme incendie
Les scénarios de prise de contrôle, quelle que soit leur probabilité, s'accompagnent au moins d'un signal d'alarme. Un système surpris à mentir sur ses intentions, un tournant traître, une tentative d'évasion: ce sont des événements, et les événements peuvent déclencher des réponses. La déshabilitation progressive n'offre rien de si pratique. Chaque étape est volontaire, et chaque étape est, isolément, défendable. La firme qui automatise ses analystes surpasse celle qui ne le fait pas. L'organisme qui permet à un modèle de rédiger son règlement résorbe son arriéré. Le politicien qui utilise la messagerie optimisée par l'IA gagne.
Quiconque refuse, par principe, de remettre sa pièce de la machine perd simplement face à celui qui ne refuse pas, et la somme de tous ces choix individuellement raisonnables est une civilisation que personne n’a choisie.
L’idée a une lignée. L’essai de Paul Christiano de 2019 « What Failure Looks Like » esquissait un monde qui s’éteint en douceur, où les systèmes optimisent des proxies de ce que nous voulons jusqu’à ce que les proxies soient tout ce qui reste. Ce que l’article de 2025 ajoute, c’est de la structure : des mécanismes nommés, les preuves d’État rentier, les boucles de rétroaction inter-domaines et l’affirmation directe que cela appartient à la même catégorie que les menaces d’extinction, car une perte permanente et irrécupérable de l’influence humaine sur l’avenir est une catastrophe existentielle, que quiconque meure ou non le jour où elle devient irréversible.
Propriété et adaptation
Propriété. L’objection la plus courante : les humains possèdent le capital. Si l’IA fait le travail, les bénéfices reviennent toujours aux actionnaires humains, de sorte que les humains conservent le pouvoir qui compte. La réponse est que la propriété est une revendication, appliquée par les tribunaux, les registres, les régulateurs et, en fin de compte, les États, qui sont exactement les institutions que le document décrit échapper au contrôle humain, et non un fait physique. Un certificat d’actions vaut ce que vaut l’exécution qui le sous-tend. Et même si la propriété est parfaitement valable, elle s’applique à un nombre remarquablement restreint de personnes, ce qui ne constitue pas tant une réfutation de la déresponsabilisation qu’une description de celle-ci, avec les valeurs d'un petit groupe verrouillées pour tout le monde.
Adaptation. Les sociétés ont absorbé l’imprimerie, l’usine et l’ordinateur, et l’influence humaine a survécu. Mais chacune de ces technologies a remplacé des tâches particulières tout en augmentant la valeur du jugement humain ailleurs dans le système. Un substitut général à la cognition humaine est l’échelon final, pas un échelon supplémentaire de cette échelle. L’adaptation passée passait par des mécanismes, de nouveaux emplois, de nouvelles coalitions politiques, de nouveaux mouvements culturels, qui dépendaient tous du fait que des humains soient nécessaires quelque part. La nouvelle technologie supprime cette prémisse.
Simultanéité. Les sceptiques notent aussi que la catastrophe exige que l'économie, l'État et la culture échouent ensemble, et que combiner trois prévisions incertaines devrait abaisser la probabilité. C'est juste, sauf que les échecs ne sont pas indépendants. Les boucles de rétroaction sont le point essentiel. La même variable sous-jacente, la mesure dans laquelle chaque système a encore besoin des humains, pilote les trois, ce qui rend les échecs corrélés plutôt que fortuits.
Là où les critiques sont les plus convaincants, selon nous, c’est sur le calendrier et l’exhaustivité : l’article propose un cadre, mais il dit peu de chose sur la vitesse à laquelle tout cela se produira ni sur les institutions qui céderont en premier. Il identifie une direction de pression. Il ne date pas l’arrivée.
Ce que la prévention exigerait réellement
La caractéristique inconfortable de ce risque est que le programme de sécurité standard ne le touche pas. L'alignement, dans le sens habituel, fait que chaque système fait ce que son opérateur veut. Chaque système de l'histoire de la déshabilitation progressive peut passer ce test alors que l'agrégat dérive encore, parce que le problème est une civilisation se réorganisant autour des machines, obéissant, pas désobéissant machines. La perte de contrôle est problème des systèmes plutôt qu’un problème lié à un seul modèle ; cet article est l’exposé académique le plus solide de cette thèse.
Les propositions des auteurs en sont encore à un stade précoce et ils le disent. Mesurer directement l'influence humaine sur les systèmes clés, comme les économies mesurent l'inflation, afin que le déclin soit visible tant qu'il est encore corrigible. Durcir les mécanismes qui rendent les institutions redevables aux citoyens, la machinerie peu glamour de surveillance démocratique, divulgation et loi. Et développer ce qu’ils appellent l’alignement de l’écosystème : des méthodes pour ancrer les dynamiques à l’échelle civilisationnelle, et pas seulement les modèles individuels, aux préférences humaines.
À cette liste, nous ajouterions l’élément que l’article évoque sans s’y attarder. Tout ce qui précède est sapé par la concurrence. Un pays qui maintient des humains dans ses boucles accepte une friction que ses rivaux refusent, ce qui est le même problème d’action collective qui traverse toutes les autres voies menant à la perte de contrôle, et la réponse a la même forme : des accords contraignants qui retirent de la table les formes les plus corrosives de la course, suffisamment vérifiés pour que la retenue ne soit pas, en principe, un sacrifice compétitif. C'est le travail que cette Fondation existe pour faire avancer.
Le désempowerment progressif est, d'une certaine manière, la version la plus difficile du problème : une catastrophe entièrement constituée de choix localement rationnels. C'est aussi, d'une autre manière, encourageant : contrairement à un retournement traître, cela se produit assez lentement pour être vu, à condition que quelqu'un mesure, et assez lentement pour être arrêté, à condition que les leviers fonctionnent encore quand nous les saisissons. La contribution de l'article est de dire, précisément et tôt, quels leviers surveiller.