L'objection la plus courante à une gouvernance internationale de l'superintelligence est qu'elle ne peut pas se faire. Un siècle de traités prouve le contraire. La coordination sur des risques d'extinction partagés a déjà eu lieu ; c'est une habitude documentée des États sérieux, pas une utopie.
Armes nucléaires. Armes chimiques. La couche d'ozone. La coordination mondiale des menaces existentielles est une réalisation humaine documentée. La question qui se pose à superintelligence est de savoir si nous le ferons à temps, avec la volonté politique nécessaire dans les cas précédents.
Chaque fois que l’humanité a affronté une menace existentielle coordonnée, les mêmes objections ont été soulevées : le problème est trop complexe, les adversaires trop nombreux, la vérification trop difficile, la défection trop probable. Chaque fois, ceux qui ont passé outre ces objections ont construit des cadres qui, imparfaits soient-ils, ont empêché des issues catastrophiques.
Lorsque la menace est claire, la science est crédible et que le plaidoyer est organisé, la coordination internationale a été possible même quand elle a été lente et contestée.
La menace de l'superintelligence est documentée, les avertissements scientifiques sont publics et les activités de plaidoyer se multiplient. Il manque encore une pression politique suffisamment forte pour forcer la coordination.
Les quatre cas ci-dessous sont les exemples emblématiques de ce que la civilisation humaine peut accomplir face à des menaces qu'aucune nation ne peut résoudre seule. Chacun a commencé par les mêmes objections que les critiques de la gouvernance superintelligence formulent aujourd'hui.
Les armes nucléaires ont été utilisées en guerre en 1945. En quelques années, plusieurs nations les avaient développées ou étaient en train de les développer. La perspective de dizaines de pays dotés d'arsenaux nucléaires représentait un risque de fin de civilisation. Les critiques disaient qu'un traité de non-prolifération était impossible : trop d'acteurs, trop d'intérêts nationaux, aucun moyen de vérifier la conformité.
Le Traité sur la non-prolifération des armes nucléaires a été ouvert à la signature en 1968 et est entré en vigueur en 1970. Il a créé un cadre dans lequel la plupart des nations ont accepté de ne pas développer d'armes nucléaires en échange d'un accès à la technologie nucléaire civile. Un régime de vérification via l'Agence internationale de l'énergie atomique surveillait la conformité.
Aujourd'hui, neuf pays possèdent des armes nucléaires alors que des centaines auraient pu en fabriquer. Aucune arme nucléaire n'a été utilisée en guerre depuis 1945. Le NPT est imparfait, il n'a pas empêché toute prolifération, mais il a évité le scénario catastrophique que les critiques disaient inévitable. Quatre-vingts ans de paix nucléaire ne sont pas arrivés par hasard.
L'Agence internationale de l'énergie atomique a été créée en 1957 avec pour mandat de promouvoir l'énergie nucléaire pacifique tout en empêchant son détournement vers des armes. Son régime d'inspection et de garanties permet aux inspecteurs internationaux de vérifier que le matériau nucléaire dans les installations déclarées n'est pas enrichi au-delà des usages civils.
Ce régime de surveillance fonctionne parce que le matériau nucléaire, comme la puissance de calcul de l’IA, passe par des goulots d’étranglement identifiables. L’uranium doit être enrichi dans des installations spécifiques. Les centrifugeuses sont traçables. Le IAEA a mis au point les mécanismes techniques de surveillance d’une technologie dont le potentiel à double usage posait un risque existentiel.
Le parallèle avec l’IA est direct. Le matériel nécessaire pour entraîner les modèles d’IA de pointe, en particulier les clusters de GPU produits par NVIDIA et les semi-conducteurs avancés fabriqués par TSMC avec les équipements de lithographie d’ASML, est concentré de manière à rendre la surveillance techniquement faisable. Un petit nombre d’entreprises contrôlent les points d’étranglement. Les contrôles à l’exportation tentent déjà de suivre ces puces.
Ce que le IAEA démontre, c’est que la surveillance internationale des technologies à double usage est déjà une pratique établie. L’institution fonctionne depuis près de soixante-dix ans, menant des milliers d’inspections dans des dizaines de pays. L’infrastructure permettant d’en faire autant avec la puissance de calcul de l’IA existe. Cela exige une volonté politique, non une innovation technique.
Au milieu des années 1970, des scientifiques ont établi que les chlorofluorocarbures, ou CFC, utilisés dans les réfrigérants, les aérosols et les procédés industriels, détruisent la couche d’ozone qui protège la planète des rayonnements ultraviolets. Sans cette couche, la vie sur Terre serait confrontée à des conséquences catastrophiques. L’industrie affirmait alors qu’éliminer les CFC était économiquement impossible.
Le Protocole de Montréal a été signé en 1987 par 46 pays et est entré en vigueur en 1989. Il a éliminé progressivement la production et la consommation de substances appauvrissant la couche d ' ozone selon un calendrier international contraignant. Les pays en développement ont bénéficié d'un échéancier prolongé et d'un soutien financier. Chaque nation sur la terre a ratifié le traité, le seul traité international à ratification universelle.
La couche d'ozone est en voie de rétablissement. Les évaluations scientifiques prévoient qu'elle retrouvera ses niveaux de 1980 vers le milieu de ce siècle. Le Protocole de Montréal est largement décrit comme le traité environnemental le plus réussi de l'histoire. L'industrie chimique, qui s'y était initialement opposée, a mis au point des composés de remplacement et a continué à fonctionner de manière rentable. L'« impossible » s'est révélé ne pas l'être.
Les armes chimiques avaient été employées pendant la Première Guerre mondiale, dans des conflits coloniaux et lors de la guerre Iran-Irak des années 1980. La Convention sur les armes chimiques, ouverte à la signature en 1993 et entrée en vigueur en 1997, a interdit la mise au point, la production, le stockage et l’emploi des armes chimiques et exigé la destruction vérifiée des stocks existants.
Plus de 190 nations ont ratifié la Convention. Les pays disposant d'importants stocks d'armes chimiques, dont les États-Unis et la Russie, les ont détruits sous supervision internationale menée par l'Organisation pour l'interdiction des armes chimiques, qui a reçu le prix Nobel de la paix en 2013.
La Convention sur les armes chimiques démontre que des accords internationaux peuvent obtenir la destruction vérifiée d’armes dans lesquelles les nations ont investi des décennies et des milliards. L’objection selon laquelle les pays ne renonceront pas à des avantages stratégiques si un traité l’exige a été réfutée à plusieurs reprises, dans les relations les plus conflictuelles de l’histoire moderne.
Les violations de la Convention se produisent et entraînent des conséquences internationales. Le cadre n'est pas un instrument parfait. Il a toutefois fait de l'emploi d'armes chimiques un acte qui viole une norme et déclenche une condamnation et une réponse mondiales, alors qu'avant la Convention c'était une option militaire contestée. Ce changement de norme internationale constitue en soi une forme de réussite de la gouvernance.
Ces quatre cas partagent une structure. Dans chacun, la menace a d’abord été écartée comme trop spéculative ou trop techniquement complexe pour une gouvernance internationale. Dans chacun, l’industrie concernée a affirmé que la réglementation était économiquement impossible. Dans chacun, la vérification a été décrite comme un fantasme. Dans chacun, l’accord a finalement été conclu, des mécanismes de vérification ont été mis en place et la menace a été matériellement réduite.
La gouvernance superintelligence fait face aujourd'hui à chacune de ces mêmes objections, sous la même forme, des mêmes types d'acteurs. Selon les entreprises technologiques, la réglementation étouffera l'innovation. L'établissement de sécurité nationale dit que les adversaires vont défectionner. Les commentateurs disent que le problème est trop complexe techniquement pour que les législateurs comprennent. Ces arguments sont vieux, depuis longtemps montrés mal; on devrait demander à quiconque s'appuie sur eux quels précédents ils ignorent.
Ce qui distingue la gouvernance superintelligence de ces précédents est l'urgence. Le NPT a été négocié sur plusieurs années alors que les arsenaux nucléaires grandissaient mais restaient sous contrôle humain. Le Protocole de Montréal a été mis en œuvre sur des décennies alors que la couche d'ozone continuait de s'amincir mais restait récupérable. Le développement de l'IA avance plus vite, et les systèmes en cours de construction pourraient, une fois suffisamment avancés, résister à la gouvernance d'une manière que les molécules d'ozone et les ogives nucléaires ne peuvent pas.
Les précédents sont une raison d'aller plus vite, pas d'attendre. La coordination, la vérification et les accords, malgré l'opposition de l'industrie, ont tous eu lieu auparavant. Ce dont nous avons encore besoin, c'est de la volonté politique de comprimer la chronologie, construite par des gens qui comprennent les enjeux et refusent d'attendre.
Rejoignez ceux qui construisent la coalition politique qui rendra possible la gouvernance du superintelligence.