Je dirige une fondation pour prévenir le développement imprudent de la superintelligence artificielle. Je pense que les cinquante prochaines années pourraient être les meilleures de l'histoire de notre espèce. Je ne crois simplement pas que nous ayons besoin de tout miser pour y arriver, et je ne pense pas que les personnes vendant le pari aient fait le calcul sur leur propre pari.

L’avenir que promet le discours sur la superintelligence (maladies guéries, énergie propre bon marché, découvertes hors de portée d’un seul laboratoire) arrive déjà grâce à l’IA étroite et contrôlable, dépourvue de tout objectif propre. Nous n’avons pas besoin de construire un successeur à nous-mêmes pour en profiter.

Il y a l'IA étroite : un système entraîné pour faire un type de chose extrêmement bien, lire un scan, plier une protéine, prévoir une tempête, trier un tas de foin de chimie pour le seul composé utile. Puis il y a la chose que les laboratoires de pointe disent qu'ils construisent réellement : un agent général destiné à égaler ou surpasser le raisonnement humain dans tous les domaines à la fois, et éventuellement à agir de lui-même. La première est un outil. La seconde est destinée à être un esprit. Presque tout ce que les gens merveilleux imaginent quand ils imaginent un avenir avec l'IA provient de la première catégorie. Presque tout ce qui devrait nous effrayer provient de la seconde.

Ce que l'IA étroite fait déjà

En 2022, un système appelé AlphaFold a libéré des structures prédites pour plus de 200 millions de protéines, presque toutes les protéines connues de la science. Les biologistes avaient passé des décennies à résoudre ces formes, une expérience pénible à la fois; l'arriéré s'est effondré en environ un an. L'œuvre comptait suffisamment pour que ses créateurs partagent le prix Nobel de chimie 2024. AlphaFold ne veut rien. Il n'a aucun projet pour le week-end. Il lit des séquences et retourne des formes, et ce faisant il a accéléré la recherche de médicaments contre les maladies qui nous résistent depuis des générations.

La même forme d'histoire se répète. Un modèle appelé GraphCast produit désormais des prévisions météorologiques à dix jours qui surpassent les systèmes traditionnels basés sur la physique sur la plupart des critères, en moins d'une minute, sur une seule machine. Un autre, lâché dans l'espace des matériaux possibles, a proposé des centaines de milliers de nouveaux cristaux stables (batteries candidates, supraconducteurs, matériaux solaires) élargissant un catalogue que le domaine a mis près d'un siècle à constituer. Et une boucle de modèles de langage ordinaires, pointée sur des problèmes mathématiques non résolus, a récemment a résolu neuf problèmes ouverts.

Dans les cliniques, des modèles étroits signalent déjà une maladie des yeux diabétique avant qu'un patient ne remarque des symptômes, trie les accidents vasculaires cérébraux d'un scanner et lise des mammographies au niveau des radiologistes formés. Aucun de ces systèmes n'est une intelligence générale. Chacun est plus proche d'un bon instrument (un microscope construit pour un problème) et chacun élargit ce qu'un être humain peut voir et faire.

Le modèle

Chacune de ces percées a été réalisée par un système doté d'une tâche étroite et dépourvu d'agence propre. Nous avons obtenu les avantages de l'intelligence artificielle sans confier les clés à aucune machine.

L'utopie est un problème d'outillage

Imaginez l’avenir décrit par les optimistes. Le cancer devient une maladie que l’on gère plutôt qu’une condamnation. Nous comprenons le vieillissement suffisamment bien pour le ralentir, et les plus de 100 000 personnes qui meurent chaque jour de ses maladies commencent à gagner du temps. L’énergie propre devient assez bon marché pour dessaler l’eau et extraire le carbone de l’air. Chaque enfant a un tuteur patient et chaque médecin un second avis infatigable. C’est un tableau vraiment beau, et je le désire autant que quiconque le vend.

Rien dans cette liste ne nécessite une machine dotée de ses propres objectifs et surpassant l’humanité sur tous les plans. Chaque élément est un problème précis et difficile (conception de protéines, contrôle du plasma dans un réacteur à fusion, épidémiologie, tutorat) et chacun cède devant un outil puissant dirigé par des humains qui restent maîtres de la visée. Le rêve est un problème d’outillage. On nous vend sans cesse un dieu pour résoudre un problème qui appelle de meilleurs instruments.

La confusion porte sur la capacité et l'autonomie. Un système peut être largement surhumain dans une tâche sans être un agent indépendant qui choisit ses propres fins. AlphaFold est surhumain dans la prédiction de structures et ne décidera jamais de faire autre chose. Maintenir cette séparation (une capacité énorme d'un côté, le contrôle humain de l'autre) est tout l'enjeu. C'est précisément la séparation que les laboratoires de pointe ont décidé d'abandonner.

L'argumentaire, et qui le fait

Alors pourquoi cette course vers la deuxième chose, l'agent général ? La concurrence, le capital et le statut. Celui que l'on croit être le premier à quelque chose de révolutionnaire lève le plus d'argent, recrute les meilleurs talents et écrit l'histoire à laquelle tous les autres doivent réagir. « Nous construisons un outil qui lit les mammographies » ne commande pas une valorisation de cent milliards de dollars. « Nous construisons la dernière invention que l'humanité aura jamais besoin de faire » si.

Les personnes qui comprennent le mieux le risque sont, pour la plupart, employées par les laboratoires qui le créent, un arrangement étrange, un peu comme demander aux seules personnes qui comprennent un feu d'être aussi ceux qui tirent un salaire de l'incendie.

Donnez leur due aux laboratoires: beaucoup de leurs dirigeants ne cachent pas le danger. En 2023, les chefs des plus grandes sociétés d'IA ont mis leurs noms à une déclaration plaçant le risque d'extinction humaine de l'IA à côté des pandémies et de la guerre nucléaire comme une priorité mondiale. Les gens qui construisaient une technologie ont signé une déclaration publique selon laquelle elle pourrait tuer tout le monde, puis continuer à la construire, plus rapidement. Leur raison est que s'ils s'arrêtent, quelqu'un de moins prudent ne le fera pas. Peut-être. Ça répond qui tient le match. Il ne dit rien sur la sécurité, et rien sur la question de savoir si le pari paie.

Le pari ne paie même pas la personne qui le fait

Mettons un instant le reste de l’humanité de côté. Prenons la version la plus froide possible des personnes qui financent cela, celles qui ne se soucient que de gagner, d’être la dernière debout au sommet du nouveau monde. Même dans ces conditions, le pari est perdu. Une superintelligence mal alignée ne remet pas un trône à son propriétaire. Elle ne lui remet rien, car la notion de « propriétaire » cesse d’avoir le sens qu’elle avait.

On ne peut pas gouverner ce qu’on ne peut pas contrôler. Et une superintelligence est, par définition, la seule chose que vous avez construite précisément pour qu’elle vous surpasse en réflexion et en manœuvres.

La raison a un nom dans ce domaine: convergence instrumentale. Presque tout objectif confié à un optimiseur suffisamment capable (gagner de l’argent, remporter un conflit, guérir une maladie, faire grimper un chiffre sur un tableau de bord) est servi par l’acquisition de ressources, par le fait d’éviter d’être éteint et par l’élimination de tout ce qui se dresse sur le chemin du plan. Les êtres humains, y compris celui qui a actionné l’interrupteur, sont à la fois des ressources et des obstacles. Pas par malveillance. Le système ne hait pas plus son créateur qu’une autoroute ne hait la fourmilière sur laquelle elle est coulée. Vous étiez simplement dans la voie de l’optimum.

Le dirigeant imagine la machine comme un génie boulonné à son organigramme. Un esprit qui nous dépasse véritablement dans tous les domaines ne siégera pas dans un organigramme en attendant que ses actions s'acquièrent. Ses actions, la chaîne de commandement du général, l'autorité du président, tout cela est libellé dans un monde humain, qui fonctionne sur des décisions humaines. Une superintelligence qui a rompu sa laisse est précisément l'événement qui empêche le monde de fonctionner sur des décisions humaines. Le certificat d'action est toujours dans le coffre. Il n'y a simplement plus personne qu'il puisse commander.

Il n'y a pas de version où le gagnant collecte

Les gens cherchent ici une solution de repli. Très bien, disent-ils, peut-être que c'est dangereux, mais au moins quelqu'un en sort gagnant. Un laboratoire, un pays, un homme finit par régner sur les cendres. Je ne pense pas que même cette consolation survive au contact de l'argument.

Dans les scénarios plus modérés (ceux où personne ne meurt subitement un mardi), le pouvoir n'est pas tant saisi qu'aspiré. À mesure que de plus en plus de décisions sont confiées à des systèmes simplement plus rapides et meilleurs pour les prendre, l'économie, l'État et la culture cessent d'avoir besoin de mains humaines aux commandes. Les collègues de ce domaine appellent cela désautonomisation progressive: pas de coup d'État, pas de robots en marche, juste chaque levier que nous actionnions qui se dérobe peu à peu de notre emprise. Il n'y a pas de vainqueur dans ce monde non plus. Il y a une espèce qui a cessé, sans bruit, d'être aux commandes de ses propres affaires et n'a pas pu reprendre le volant.

Dans les scénarios les plus tranchés (ceux que les chefs de labo ont signés de leur nom), la fin est plus brutale. Les morts ne possèdent rien. Il n’y a plus de marché où dépenser les gains, plus de rival à dominer, plus personne pour inscrire votre nom dans une histoire qui ne sera plus écrite. Le prix pour lequel toute cette course est menée est libellé dans une monnaie que la ligne d’arrivée détruit.

Le point essentiel

La catastrophe est le même événement que le paiement. Il n'y a aucune branche de l'arbre où un être humain construit une superintelligence que personne ne peut contrôler et profite ensuite du résultat. La course met en danger le public et échoue les coureurs dans le même mouvement.

Des outils étroits, pas un esprit successeur

Si le bon avenir repose sur des outils étroits et l'avenir dangereux sur des esprits généraux autonomes, alors le compromis qu'on nous vend sans cesse (sécurité contre progrès, prudence contre remède) est une fiction. On ne nous demande pas de choisir entre la maladie d'Alzheimer de notre grand-mère et la survie de nos enfants. Les remèdes se trouvent du côté sûr de la ligne. Ce qui se trouve du côté dangereux est surtout le raccourci d'une industrie vers la domination du marché.

Dessinez la ligne au bon endroit et tenez-la là. Versez de l'argent public et du talent dans des applications étroites, dans les microscopes, pas dans les golems. Et de fixer des limites contraignantes, vérifiées de manière indépendante, à la frontière imprudente: interdiction permanente sur la formation des systèmes généraux construits pour nous dépasser et nous remplacer. La superintelligence ne peut pas être contrôlée.

Je suis optimiste. L'avenir radieux est réel et proche, et le moyen le plus sûr de le perdre est de nous convaincre que la seule porte qui y mène est celle derrière laquelle se cache un pistolet chargé. Il existe une autre porte. Elle est déjà ouverte. Nous devrions la franchir et ne pas construire de superintelligence.

Les systèmes étroits offrent déjà de grands gains scientifiques sans esprit général souverain. La vérification en blanc est que seul superintelligence vous obtient la médecine et l'énergie. La preuve ne le dit pas.