Au début des années 1970, les biologistes ont appris à insérer des gènes d’un organisme dans un autre. L’ADN recombinant a ouvert la médecine et la biologie d’un coup, et cela a effrayé ceux qui l’inventaient. Ils ne pouvaient exclure qu’un organisme modifié s’échappe d’un laboratoire et cause des dommages que personne ne saurait contenir. Alors ils ont fait quelque chose de presque inouï. Ils se sont arrêtés.

En 1974, des chercheurs de premier plan, dont de futurs lauréats du prix Nobel, ont publiquement appelé à un moratoire volontaire sur les expériences d’ADN recombinant les plus dangereuses. En février 1975, environ 140 scientifiques, accompagnés d’avocats et de journalistes, se sont réunis au centre de conférences d’Asilomar en Californie pour définir les conditions permettant de reprendre ces travaux en toute sécurité. Ils en sont sortis avec un cadre de mesures de confinement adaptées au risque, et la recherche a repris sous des garde-fous consensuels. Pour les partisans d’une pause sur l’IA de pointe, c’est le point de référence : un domaine qui a reconnu son propre danger et choisi la prudence plutôt que la vitesse.

Ce qu'Asilomar a vraiment réussi

La réalisation est réelle et mérite d'être énoncée clairement.

Les scientifiques ont agi avant une catastrophe plutôt qu'après une catastrophe, ce qui est la chose la plus rare et la plus précieuse de toute l'histoire de la sécurité technologique. Ils ont accepté la retenue sur leur propre travail, y compris la recherche qui promettait la renommée et le progrès, parce que le risque le justifiait. Et ils ont élaboré des règles pratiques correspondant au niveau de danger, plutôt que d'ignorer le danger ou d'interdire le champ. Elle est la preuve qu'une communauté de chercheurs peut regarder sa propre frontière, juger qu'elle est trop dangereuse pour se précipiter et se retenir. Ce précédent est une réfutation directe à l'allégation selon laquelle le fait d'arrêter une technologie puissante est naïf ou impossible.

Pourquoi c'est un modèle plus difficile qu'il n'y paraît

L'honnêteté à propos du précédent signifie nommer pourquoi l'IA est un cas plus difficile, car les différences sont exactement les parties qui ont fait fonctionner Asilomar.

  • C'était une petite communauté unie. Une poignée de laboratoires, une culture scientifique unique, des gens qui se connaissaient. L’IA de pointe est un concours mondial entre entreprises et États pesant des milliers de milliards, sans table commune.
  • Les enjeux commerciaux étaient modestes en 1975. L'industrie biotech existait à peine. L'IA arrive avec les plus grandes entreprises de la planète et les établissements de sécurité nationale déjà engagés, ce qui est la dynamique de course qu'Asilomar n'a jamais affronté.
  • Redémarrer était l'objectif. Asilomar visait à trouver des conditions sûres pour continuer, pas à s'arrêter indéfiniment. Son modèle de confinement supposait qu'on pouvait confiner le danger dans un laboratoire physique. Une IA capable n'est manifestement pas confinable de cette manière.

Il y a aussi un épilogue édifiant. Le consensus d'Asilomar a tenu en partie parce que c'était un moment étroit avec des incitations alignées, et même alors il dépendait d'une bonne volonté volontaire qu'un domaine plus commercial et plus concurrentiel mettrait à rude épreuve. Ce qui a fonctionné parmi 140 scientifiques collégiaux ne se transpose pas directement à une industrie mondiale fracturée soumise à une pression intense pour gagner.

Asilomar prouve qu'une pause est possible. Cela montre aussi les conditions dont une pause a besoin, et combien peu l'IA en a actuellement.

La bonne volonté n'est pas suffisante pour l'IA

Les deux moitiés de la matière d'Asilomar. Il réfute le fatalisme qui dit que rien ne peut être fait, qu'une technologie puissante ne peut pas être ralentie. Les scientifiques l'ont fait, délibérément, et le ciel n'est pas tombé. Mais cela montre aussi que le mécanisme informel, volontaire et collégial qui a fonctionné en 1975 n'est pas suffisant pour l'IA, car l'IA manque de la petite communauté, des enjeux faibles et du risque containable qui laisse la bonne volonté suffisante. La bonne conclusion est que l'IA a besoin de ce que l'Asilomar pourrait réaliser, de la retenue réelle avant le danger, fournie par le biais des mécanismes internationaux contraignants, vérifiables, qu'une course mondiale de mille milliards de dollars exige, et non pas que l'IA ait besoin de son propre Asilomar.