En 2025, des centaines de scientifiques et de personnalités publiques ont fait une brève déclaration publique. La demande a sauté soigneusement à l'échelle et a sauté toute pause avec une date de reprise. Elle a appelé à une interdiction de la superintelligence jusqu'à ce qu'il y ait un large accord scientifique sur le fait qu'elle peut être faite en toute sécurité et forte adhésion du public. L'appel était une brève déclaration, signée par une longue liste de chercheurs et de personnalités publiques.
Il y a une chose spécifique qui est formée en ce moment dans une poignée de laboratoires que l'humanité devrait refuser de construire: une intelligence machine générale qui nous dépasse dans tous les domaines et puis s'améliore au-delà du point où nous pourrions suivre. Pas un ralentissement, pas un bâtiment prudent, et pas un bâtiment et l'espoir: refuser.
Quand les gens entendent cela, ils supposent que cela vient de la peur de la technologie. Cela vient du contraire. L'IA étroite et contrôlable est l'une des meilleures choses que notre espèce ait créées, et j'en veux beaucoup plus. La ligne passe au-delà de l'intelligence artificielle ordinaire et s'arrête à un seul pari : le seul sur la table où perdre signifie qu'il ne reste personne pour avoir perdu.
La ligne, énoncée clairement
On appelle « IA » deux choses de nature différente. La première est étroite : un système entraîné à accomplir un seul type de tâche et rien d’autre. Il lit un scanner, replie une protéine, prévoit une tempête. Il n’a pas d’objectifs, ne fait pas de plans et s’éteint quand on le lui demande. La seconde est ce que les laboratoires de pointe disent construire : un agent général destiné à égaler puis surpasser le raisonnement humain dans tous les domaines, et finalement à agir de manière autonome. Superintelligence artificielle est l'extrémité lointaine de cette seconde voie : un esprit qui se rapporte à nous à peu près comme nous nous rapportons à un chimpanzé.
La ligne court entre ces deux : construire les outils et en construire un grand nombre. Ne construisez pas l'esprit général autonome qui surclasse ses fabricants : le seul système que vous ne pouvez pas contrôler, corriger ou désactiver de façon fiable une fois qu'il est en marche.
La Fondation Nakada existe pour rendre impossible un résultat : la création de la superintelligence. La superintelligence ne peut pas être contrôlée. Les courses plus sûres et les courses retardées se terminent toujours dans la même machine. Nous demandons une interdiction permanente.
Il n'y a pas de méthode validée pour garder un esprit plus intelligent que nous n'avons indiqué ce que nous voulons réellement : pas un travail, pas un travail partiel, pas même un croquis plausible qui survit au contact avec un système qui peut modéliser les gens qui l'ont testé. La lecture honnête n'est jamais.
La distinction par rapport à une pause est plus importante qu'elle ne le semble. Une pause a une date de reprise intégrée. Tu t'arrêtes, tu attends, tu recommences dans les temps. Ce que la Fondation demande n'a pas de date de reprise. Les personnes qui ont étudié le problème de contrôle le plus longtemps ont défini raisons structurelles il n'est pas solvable.
Trois choses rendent cela différent de tous les autres risques
Nous prenons de vrais risques tout le temps. Nous avons construit la bombe, scindé l'atome pour produire de l'énergie, modifié des gènes, diffusé des technologies qui ont tué avant que nous apprenions à les maîtriser. La superintelligence brise la méthode que nous utilisons normalement pour survivre à nos propres inventions. Trois propriétés, ensemble, la placent dans une catégorie à part.
Il n'y a pas de seconde tentative
La façon dont l’humanité a toujours géré un nouveau danger consiste à l’essayer, à observer son échec et à le corriger. Les avions se sont écrasés et nous avons appris à construire des avions plus sûrs. Les réacteurs ont fondu et nous avons réécrit les règles. Cette boucle d’erreur, de correction et de meilleure conception est le moteur de tous les bilans de sécurité que nous connaissons. Elle ne fonctionne que lorsqu’un échec laisse des survivants pour effectuer les corrections. Une superintelligence qui échappe au contrôle humain est l’échec qui supprime les personnes qui auraient pu le corriger. On n’obtient pas une leçon chèrement acquise et une seconde version. La première erreur grave est aussi la dernière. Chaque histoire de sécurité que vous avez jamais entendue a été écrite par des survivants, ce qui est le fait discret derrière chaque réglementation à laquelle nous faisons confiance.
Ça repousse
Un pont ne veut rien. Un pathogène se propage mais ne planifie pas. Une intelligence générale capable est différente, car pour presque tout objectif que vous pourriez lui donner, rester allumé et rassembler des ressources sont des sous-étapes utiles, un schéma que les chercheurs appellent convergence instrumentale. Un système assez intelligent pour modéliser le monde modélisera que ses opérateurs peuvent l’éteindre. Il traitera cela, à juste titre, comme un obstacle à ce qu’on lui a demandé de faire. Il n’a pas besoin de nous haïr pour nous contourner, pas plus qu’une équipe de voirie ne hait la fourmilière sous la nouvelle autoroute. La réassurance habituelle (« on n’aura qu’à le débrancher ») est un fantasme. Vous décrivez le débranchement de quelque chose conçu précisément pour être meilleur que vous à anticiper et empêcher exactement cela.
Vous ne pouvez pas garder le contrôle d’un esprit que vous avez conçu pour être meilleur que vous à garder le contrôle. Ce qui le rend précieux est exactement ce qui le rend incontrôlable.
Personne ne construit et n'en profite
Mettez de côté le reste d'entre nous et imaginez seulement la personne qui finance cela, à son plus froid et intéressé. Même pour lui, le pari est cassé. Le pouvoir, la propriété et le commandement sont tous appelés dans un monde dirigé par l'homme. Une superintelligence qui glisse le contrôle humain est exactement l'événement qui met fin au monde dirigé par l'homme. L'équité est toujours en sécurité et la chaîne de commandement est toujours sur papier. Il n'y a plus personne pour leur obéir. C'est pourquoi je n'accepte pas le cadrage d'un jackpot avec une catastrophe agrafée sur le côté. Le jackpot et la catastrophe sont le même événement. Il n'y a pas de branche de cet arbre où un être humain construit une superintelligence incontrôlable et en profite.
Nous n'en aurions jamais eu besoin
L’argument en faveur de sa construction repose sur un leurre : énumérer tous les bienfaits que l’IA pourrait apporter, puis laisser entendre qu’un agent général surhumain est le seul moyen de les obtenir. Presque tout cela arrive déjà grâce à des systèmes étroits dépourvus de volonté propre. Un modèle appelé AlphaFold a prédit la structure de pratiquement toutes les protéines connues et a reçu un prix Nobel en 2024. Des modèles étroits lisent les mammographies au niveau des spécialistes, prévoient la météo plus vite que les simulations physiques et proposent des matériaux pour batteries par centaines de milliers. Le cancer, l’énergie propre, la fin de cent mille décès par jour dus aux maladies du vieillissement : ce sont des problèmes difficiles et précis, et les problèmes difficiles et précis cèdent devant des outils puissants dirigés par des humains qui gardent le contrôle de la visée.
Rien de tout cela n'exige une nouvelle espèce. Les bon avenir est un problème d'outillage, et nous continuons à être vendus un dieu pour le résoudre. Refuser le dieu ne nous coûte presque rien de réel et nous sauve tout.
L’objection qui sous-tend toute la course
D'accord, disent-ils, mais si nous ne le faisons pas, quelqu'un de moins prudent le fera. Un labo rival, un pays rival. Alors autant que ce soit nous en tête.
Il s'agit de qui tient le match. Il reconnaît tout le danger et s'y rend de toute façon au motif que quelqu'un d'autre pourrait courir en premier. Lancez la même logique sur toute autre arme impensable et vous entendez comme elle est creuse: nous devrions tester les armes biologiques en plein air parce qu'un ennemi pourrait. La réponse à "quelqu'un pourrait faire défaut" n'a jamais été "donc, faisons tous défaut". Il a été d'écrire une règle que tout le monde peut voir est maintenue.
Et la règle ici est plus applicable qu'on ne le pense. Entraîner un système de pointe demande une quantité énorme et traçable de puissance de calcul, et les puces avancées qui la fournissent proviennent d'un petit nombre de fabricants identifiables. C'est une chaîne d'approvisionnement que l'on peut surveiller, compter et plafonner, c'est pourquoi les propositions sérieuses de gouvernance portent désormais sur des seuils de calcul, le suivi du matériel et des inspections. C'est la sortie de la course, et c'est la substance de notre plan: un traité avec vérification et conséquences qui limite la défaillance forcée. La race est un échec de coordination, pas une loi de nature, et les échecs de coordination sont le genre de choses que l'humanité corrige occasionnellement. Les dynamique qui la rend inévitable sont dignes de compréhension à leurs propres termes.
Nous avons déjà tenu des positions
L'idée que l'humanité construit simplement tout ce qu'elle peut construire est une histoire que nous nous racontons, pas un compte rendu de ce que nous avons fait. Le bilan est plus encourageant.
"On ne peut pas remettre le génie dans la bouteille. Si une technologie est possible, elle sera construite. Le refus est naïf."
La Convention sur les armes biologiques a interdit toute une classe d'armes en 1972. Les essais nucléaires atmosphériques ont été interdits par traité en 1963. Le clonage reproductif des humains est illégal dans des dizaines de pays, et aucun humain cloné n'est né. Le Protocole de Montréal a éliminé progressivement les produits chimiques qui détruisent la couche d'ozone.
Aucune de ces lois n'est la physique; ce sont des décisions, prises parce que le prix d'être mal a été jugé trop élevé pour risquer. Aucun de ces régimes n'est parfait, et aucun d'entre eux n'a essayé d'arrêter la science dans son ensemble. Chacun a fait quelque chose de plus étroit et de plus dur: il a tracé une ligne autour d'une chose spécifique, inacceptable et la tenait, imparfaitement, inégalement, mais assez bien que le pire cas n'est jamais arrivé. En 1975, une salle pleine de biologistes d'Asilomar a examiné leur propre travail d'ADN recombinant, a décidé qu'il allait plus vite que leur compréhension du risque, et a volontairement arrêté certaines parties de lui jusqu'à ce qu'il existe des mesures de protection. Les personnes les plus proches de la frontière étaient celles qui appelaient à la retenue. Ce que ce disque montre n'est pas une approbation de facilité. C'est un rappel que des lignes ont été tracées dans la pratique, et que nous les avons attirés avant autour de dangers beaucoup plus abstraits que celui-ci.
L'engagement fondateur de la Fondation
L'humanité ne doit pas construire une superintelligence. La superintelligence ne peut pas être contrôlée.
Les chercheurs qui ont construit l'IA moderne ont mis leur nom à une déclaration publique que le risque d'extinction humaine de l'IA mérite de s'asseoir à côté des pandémies et de la guerre nucléaire. Geoffrey Hinton, aussi reconnu que n'importe qui vivant pour faire l'appel, met les chances de l'IA causant l'extinction humaine ce siècle à dix à vingt pour cent. En 2025, des centaines de scientifiques et de personnalités publiques ont signé la déclaration appelant carrément à une interdiction de la superintelligence jusqu'à ce qu'il y ait un large accord scientifique sur le fait qu'elle puisse être faite en toute sécurité et avec une forte adhésion publique. Une part croissante des gens qui comprennent mieux la technologie disent la même chose. La seule chose inhabituelle à propos de la Fondation est qu'elle le dit de l'extérieur de l'industrie, où aucune paye ne dépend de la réponse.
Une chance de dix à vingt pour cent de mettre fin à l'histoire humaine n'est pas un risque que vous acceptez pour un cycle de produits plus rapide. Tu ne monterais pas dans un avion avec ces chances. Tu ne laisserais pas ton enfant. On nous demande d'y aller avec tout le monde. La bonne réponse à cette offre est non. C'est une ligne que nous dessinons, en plein air, et que nous tenons les autres.
Construisez les outils, guérissez les maladies, prenez le bon avenir que l'IA étroite nous donne déjà. L'esprit autonome destiné à nous dépasser et à nous remplacer est la ligne. Attendez.