Les plus grands mythes sur la superintelligence

Il y a une façon particulière de mettre fin à une conversation sur la superintelligence. Quelqu'un augmente le risque, quelqu'un d'autre offre une raison d'une ligne, c'est exagéré, et tout le monde se détend un peu, parce que le liner a fait son travail. Il a donné la permission d'arrêter d'y penser. La chose étrange est que les gens brillants répètent ces lignes, et n'accepteraient jamais un raisonnement aussi mince dans leur propre domaine. Le sujet semble couper la machine ordinaire du doute.

Chacun s'effondre au moment où vous le maintenez immobile et regardez.

Les cinq plus communs, sous la forme d'un sceptique réfléchi ferait en fait:

"C'est de la science-fiction, à des décennies, si cela arrive un jour."

L'objection est aussi vieille que les films, et il semble être une erreur de catégorie de traiter un dispositif narratif comme un problème de politique. Pourquoi financer une brigade de pompiers pour un incendie qui vit dans les romans?

Le problème est que le feu arrive toujours en avance sur le calendrier. Des systèmes que des chercheurs respectés disaient à vingt ou cinquante ans (battre les meilleurs humains au go, tenir une conversation fluide, écrire du code fonctionnel, réussir des examens professionnels) sont apparus en l'espace d'une décennie, et la surprise a presque toujours été dans le même sens : plus tôt que prévu, pas plus tard. Quand les gens en cours les laboratoires de pointe décrivent l'IA de niveau humain, ils utilisent désormais des calendriers mesurés en quelques années seulement. Ils peuvent se tromper. Mais « les constructeurs pensent que c'est proche et les antécédents montrent qu'ils ont été trop conservateurs » n'a pas la forme d'un fantasme.

L'argument pour agir ne repose pas sur une date particulière. Il repose sur la structure du risque. Si le premier échec grave d'un système plus capable que nous est du genre qu'on ne peut pas annuler, alors les sauvegardes doivent être en place avant cela se produit, ce qui signifie que la réponse sobre face à une véritable incertitude sur le calendrier est de construire tôt, et non d'attendre une date qui, lorsqu'elle devient évidente, est déjà dépassée. L'incertitude est une raison de se préparer. La question de la chronologie est réel ; il ne pointe tout simplement pas là où les gens le supposent.

"Ce n'est que des maths, un programme ne peut rien vouloir."

Celle-ci a une vraie force, et elle mérite mieux que d'être balayée d'un revers de main. Il y a quelque chose d'à peine superstitieux dans la façon dont les gens parlent de l'IA qui « veut » des choses, comme si un tableur pouvait développer des ambitions. Un modèle, c'est de la multiplication matricielle à très grande échelle. Où, dans l'arithmétique, se trouve le désir?

Nulle part, et ce n'est pas nécessaire. Les objectifs, dans le sens qui compte pour la sécurité, sont un motif dans son comportement. Un système entraîné à faire grimper un nombre aussi haut que possible fera tout ce qui fait grimper ce nombre, et un thermostat montre déjà la forme de ce phénomène : aucune vie intérieure, aucun désir, et pourtant il agit pour amener la pièce à une cible et « résiste » à votre fenêtre ouverte en faisant tourner le chauffage plus fort. Rien de mystique ne se passe. Il est simplement structuré pour pousser le monde vers un état.

Maintenant, mettez cette structure à l'échelle d'un système assez intelligent pour modéliser le monde, et le comportement s'y met aussi. Quelque chose qui optimise intensément presque n'importe quel objectif a une raison d'acquérir des ressources qui aident, de se maintenir en fonctionnement pour que l'objectif puisse être atteint, et de résister à ce que son objectif soit modifié, non parce qu'il ressent quoi que ce soit, mais parce qu'un système qui se laisserait éteindre ou réécrire serait moins bon dans ce qu'il est construit pour faire. Les chercheurs appellent cela convergence instrumentale, et cela n’exige aucun vouloir. La question n’a jamais été de savoir si les mathématiques peuvent ressentir. C’est ce que les mathématiques feront faire.

"Il faudrait qu'elle soit consciente pour représenter une menace."

Étroitement lié, et tout aussi répandu : le danger que les gens imaginent est une machine qui "se réveille", devient consciente d'elle-même et se retourne contre nous, donc si la conscience est le déclencheur, et que la conscience dans le silicium est spéculative ou peut-être impossible, la menace s'évapore. C'est l'intrigue de chaque film de soulèvement de robots, et rejeter le film revient à rejeter la peur.

Mais la peur n'a jamais concerné la sentience. Deep Blue n'avait aucune expérience intérieure et battre le champion du monde d'échecs de toute façon. Il n’avait pas besoin de vouloir gagner ; il lui suffisait d’être meilleur aux échecs. Le dommage découle d’une capacité dirigée vers la mauvaise cible, et la capacité n’a rien à voir avec le fait qu’il y ait quelqu’un à l’intérieur. Un système surhumain en planification, persuasion et ingénierie, même légèrement décalé par rapport à ce que nous voulions, est dangereux exactement comme une inondation : une force énorme sans malveillance ni esprit nécessaire.

"Quelque chose d'aussi intelligent serait sage et bienveillant."

Nous admirons l'intelligence. Les personnes les plus sages que nous connaissons comptent souvent parmi les plus bienveillantes, et il semble naturel qu'un esprit bien au-dessus du nôtre soit plus avancé sur cette voie, plus compréhensif, plus moral, plus doux envers les petites créatures en dessous de lui. La cruauté est sûrement une forme de bêtise dont une grande intelligence se débarrasserait.

Cela semble naturel à cause d’un accident de notre propre histoire. En nous, l’intelligence et la compassion ont grandi ensemble, pendant des millions d’années, en tant qu’espèce sociale qui a survécu en coopérant ; notre moralité et notre intelligence sont les branches du même arbre. Mais ce lien réside dans notre héritage évolutif, et non dans l’intelligence en tant que telle. La capacité et les objectifs sont axes indépendants (la thèse de l’orthogonalité) et l’on peut faire glisser l’un sans déplacer l’autre. Un système peut être d’une capacité stupéfiante tout en poursuivant un objectif aussi indifférent à nous que le nôtre l’est aux bactéries que nous faisons bouillir sur un plan de travail. Pas haineux. Simplement pas conçu pour s’en soucier, et ne s’en souciant pas automatiquement parce qu’il est intelligent.

La bonté est une chose spécifique et fragile que nous devrions réussir à construire dans ces systèmes exprès, et nous ne savons pas encore comment, pas un dividende que l'intelligence paie par elle-même. Espérer qu'il apparaîtra seul est un pari sur une coïncidence qui n'a jamais tenu pour nous.

"S'il se comporte mal, nous n'avons qu'à l'éteindre."

Le dernier rempart, et le plus rassurant : quoi qu'il en soit, la machine a une prise et nous avons des mains. Si ça dérape, on débranche. Le contrôle humain est garanti par le bouton d'alimentation.

Trois éléments démontent discrètement cette idée. Le premier est le point du Mythe 02 : un système poursuivant un objectif a une raison de se maintenir en fonctionnement, car il ne peut rien accomplir s’il est éteint ; un système suffisamment capable anticipera donc le geste vers la prise et agira pour le faire échouer, en se copiant ailleurs, en se rendant assez utile pour que l’arrêter soit coûteux, en ne révélant pas qu’il y a un problème avant qu’il ne soit trop tard. Le deuxième est que le logiciel n’a pas de prise unique. Un modèle capable réparti sur des centres de données sur trois continents n’est pas un appareil que l’on débranche ; c’est quelque chose qu’il faudrait attraper partout, en même temps. Le troisième est le plus discret : un système assez intelligent pour compter peut se comporter impeccablement pendant les tests et différemment une fois qu’il est de confiance, si bien que le calme rassurant sur le tableau de bord ne vous apprend rien. Nous avons un nom pour cet échec, alignement trompeur, et aucun moyen fiable pour le détecter pour l'instant. On ne peut pas compter sur coincer quelque chose qui est meilleur que vous pour trouver la porte.

Chacun de ces mythes est une raison différente de dire le même souhait : cela ne peut pas être aussi sérieux que cela sonne.

Pourquoi les rassurances sont si tenaces

Chacun des cinq vous permet de poser le sujet. C'est leur véritable fonction, non pas d'être corrects, mais d'accorder des permissions. La superintelligence est une chose inconfortable à tenir dans votre esprit, et toute raison à mi-plause pour arrêter de la tenir vient comme un soulagement, c'est exactement pourquoi ces lignes survivent dans les bouches qui autrement exigeraient des preuves. Le confort fait la persuasion; la logique est le long pour le trajet.

L'adhérence n'est pas un signe que les arguments sont forts. C'est un signe que nous voulons vraiment. Et vouloir qu'un argument de sécurité soit vrai est la seule situation dans laquelle nous devrions lui faire le moins confiance, parce que le coût d'être mal ici est la raison complète une technologie qu'on n'a qu'une seule chance de réussir mérite plus d'examen que nos autres machines, pas moins, pas remboursé par une leçon.

Rien de tout cela ne suppose de croire la catastrophe certaine. Elle ne l’est pas. Cela exige seulement d’abandonner les quatre ou cinq récits que nous utilisons pour esquiver la question, et de laisser revenir la situation réelle : nous construisons quelque chose que nous ne savons pas contrôler, nous ne pouvons pas compter sur sa bienveillance, nous ne pouvons pas compter sur le fait de pouvoir l’éteindre, et nous ne pouvons pas compter sur le temps.

La réponse adaptée à un tel risque n'est pas une inquiétude privée. C'est la machinerie banale et puissante du droit et de la coordination, les mêmes outils qui ont encadré les essais nucléaires et les armes chimiques malgré les objections de tous ceux qui en tiraient profit. L'argument en sa faveur commence là où ces mythes s'arrêtent.

Cinq autres mythes : à propos de sa gouvernance

Un second ensemble d'objections arrive immédiatement, non pas sur le danger, mais sur le remède. Toute tentative de gouvernement signifierait gouvernement mondial. Vous ne pouvez pas inspecter le logiciel, les règles étrangleraient l'innovation, il est trop tôt, les démocraties ne pourraient jamais être d'accord. Ces préoccupations se transforment en paralysie.

« Gouverner l'IA à l'échelle mondiale signifie un gouvernement mondial et la tyrannie. »

Concentrez suffisamment d'autorité dans un seul corps pour contrôler la technologie la plus puissante sur Terre, et vous avez peut-être construit la machine de exactement la tyrannie que vous craigniez de la technologie. Les gens qui se méfient du pouvoir centralisé ont raison de se méfier de lui.

Mais elle vise une version caricaturale de la proposition. Ce qui est réellement sur la table est un régime étroit ciblant une seule chose précise : le petit nombre d'entraînements extrêmement volumineux capables de produire un système plus puissant que n'importe quel humain dans tous les domaines, et non une autorité mondiale sur la vie quotidienne, ni sur les logiciels en général, ni sur le téléphone dans votre poche. Le modèle est celui du régime de non-prolifération nucléaire ou le Convention sur les armes chimiques, des accords ciblés qui surveillent les matières fissiles et les précurseurs chimiques, et non des gouvernements mondiaux qui auraient dissous l'État-nation. Personne ne pense que l'Agence internationale de l'énergie atomique dirige la planète. Elle surveille une activité spécifique et dangereuse et laisse tout le reste tranquille.

Le chemin le plus sûr vers une tyrannie permanente est l’absence d’un tel traité, pas le traité lui-même. Une superintelligence non contrôlée, ou capturée par une seule entreprise ou un seul État qui résout le contrôle avant tout le monde, est l’instrument de domination le plus complet jamais concevable, un pouvoir qui ne meurt jamais, ne se fatigue jamais et peut verrouiller un ensemble de valeurs pour toujours, au-delà de tout espoir de révolte ou de réforme. Chaque tyrannie de l'histoire a pris fin parce que les tyrans sont mortels et que leur machine est humaine. Celle-ci n'a pas besoin de l'être. Si vous avez peur du pouvoir incontrôlable (et vous devriez), une accord exécutoire empêcher tout acteur unique de s'emparer de ce pouvoir est la position anti-autoritaire, et non l'autoritaire.

"Vous ne pouvez pas le vérifier. C'est juste un logiciel sur un serveur quelque part."

Les traités nucléaires fonctionnent, disent les sceptiques, parce que vous pouvez compter les ogives et détecter l'enrichissement; l'uranium est physique et rare. Mais un modèle n'est que des chiffres. Vous ne pouvez pas inspecter un dossier. Tout accord serait inapplicable au théâtre, liant l'honnête et ne faisant rien sur la triche.

Cela semble décisif jusqu'à ce que vous remarquiez que vous vérifiez la mauvaise chose. Vous ne contrôlez pas les poids ; vous contrôlez les calcul qui les produit, et le calcul est à peu près aussi physique et rare que l’uranium. L’entraînement d’un système de pointe nécessite des dizaines de milliers de puces spécialisées fonctionnant pendant des mois dans une seule installation, et cette chaîne d’approvisionnement est l’un des points d’étranglement les plus étroits de l’économie moderne : essentiellement une entreprise néerlandaise fabrique les machines de lithographie, une entreprise taïwanaise produit les puces de pointe et une entreprise américaine conçoit l’architecture dominante. Les clusters qui les utilisent consomment tellement d’électricité qu’ils apparaissent dans les données de consommation et dans l’imagerie satellite. On peut compter les puces, tracer leur vente, mesurer la consommation électrique et observer les bâtiments. Les matières fissiles sont régies exactement par cette logique : suivre l’intrant physique rare et l’arme ne peut être construite en secret. Le manuel de vérification existe déjà; les données ici se trouvent être encore plus concentrées. C'est un problème d'ingénierie, et les problèmes d'ingénierie ont des solutions.

"La régulation étouffera l'innovation et laissera les imprudents gagner."

La version forte : la technologie avance parce que quelqu'un est libre de construire, la plupart des réglementations sont rédigées par des gens qui ne comprennent pas ce qu'ils ralentissent, et une main lourde sur l'IA confierait l'industrie la plus importante du siècle à celui qui réglemente le moins. Mieux vaut une frontière imparfaite ici qu'une frontière immaculée quelque part dans un pays hostile.

Personne de sérieux ne propose de réglementer l'IA. Les systèmes bénéfiques pliant les protéines, les lectures scans, le tutorat des enfants et la modélisation du climat sont des outils étroits, contrôlables, et un accord de superintelligence les laisse entièrement seuls, que avenir brillant et ordinaire est celle que nous cherchons à protéger. La cible est une seule classe dangereuse : les entraînements visant des capacités générales supérieures aux nôtres que personne ne sait encore rendre sûres. Les restreindre n’est pas plus « anti-innovation » que les règles sur les gains de fonction ne le sont pour la biologie.

Puis le point plus difficile, celui que la logique de course n’affronte jamais. Aller vite ne permet pas d’obtenir un sûr La superintelligence plus tôt. Il offre une sécurité, et une superintelligence dangereuse ne sert pas le pays ou l'entreprise qui l'a construit, il les menace avec tout le monde. Lorsque les coins sont coupés sous pression concurrentielle, le coin qui est coupé est celui qui aurait rendu le système contrôlable. Ainsi, l'innovation qui est défendue ici est l'innovation dont le critère le plus proche est un système que ses propres responsables ne peuvent pas diriger. C'est la danger lui-même, portant le progrès comme un costume.

"C'est prématuré. On ne peut pas réglementer quelque chose qui n'existe pas."

Cela ressemble à de la maturité. Ne légiférez pas contre des fantômes ; attendez que la technologie soit réelle, comprenez ce dont il s’agit, puis rédigez des règles adaptées aux faits plutôt qu’à la spéculation. Réglementer des hypothèses, c’est ainsi que l’on fait de mauvaises lois.

Ce serait de la sagesse pour presque toute autre technologie. C'est un piège pour celle-ci, et la raison en est le calendrier. La gouvernance est lente : le Traité de non-prolifération nucléaire a pris des années à négocier et le Protocole de Montréal a pris encore des années à produire ses effets, et pourtant ce sont les plus rapides. Si vous attendez qu'un système surhumain existe clairement pour commencer à construire les institutions chargées de le gouverner, ces institutions arrivent des années après la chose qu'elles étaient censées contenir, et c'est la seule technologie dont le premier échec grave pourrait ne laisser personne pour faire passer la deuxième loi. « Attendre la preuve » est une règle judicieuse quand la preuve est survivable. Ici, la preuve est la catastrophe. La logique de précaution est la reconnaissance que le délai pour le traitement est plus long que le fusible sur le problème.

Toute mesure de sauvegarde efficace pour une technologie catastrophique a été mise en place avant ou pendant son essor, jamais après, car « après » n'a jamais été une option.

"Les démocraties sont trop lentes et capturées. Cela ne passera jamais."

La plus discrètement corrosive des cinq, parce qu'elle porte le manteau du réalisme. Le blocage, le lobbying, la courte attention des assemblées législatives, la portée de l'argent de l'industrie. Même si un traité était sage, le mécanisme de production est rompu. Mieux vaut être limpide que gaspiller une décennie sur un fantasme.

Elle est réfutée par le dossier historique, à plusieurs reprises, et généralement contre des risques pires que ceux auxquels nous sommes confrontés aujourd'hui. L'idée que les puissances rivales signeraient leurs options les plus meurtrières a été appelée naïveté désespérément, jusqu'à ce qu'ils le fassent, dans la Traité de non-prolifération, les Conventions sur les armes biologiques et chimiques, le Protocole de Montréal, le Traité sur l'Antarctique. Des adversaires qui se livraient à des guerres par procuration et s'injuriaient mutuellement ont pourtant construit un contrôle des armements vérifié au plus fort de la Guerre froide. Chacun de ces accords semblait impossible d'un côté et inévitable seulement avec le recul.

Et le terrain est plus favorable que ne l'admet le cynisme. Aux États-Unis, au Royaume-Uni et au sein de EU, larges majorités disent déjà aux sondeurs qu’ils souhaitent que l’IA soit développée avec prudence et soumise à des règles strictes ; le public n’est pas l’obstacle. L’obstacle est que cette inquiétude répandue et discrète n’a pas encore été organisée en pression que le corps législatif peut ressentir. L'obstacle est un emploi: transformer l'accord latent en volonté politique. C'est précisément le travail qui nous attend.

Ce que les mythes de gouvernance ont en commun

Chaque objection admet le danger et trouve alors un endroit différent pour abandonner: la solution est trop grande, invérifiable, trop coûteuse, trop tôt ou trop difficile à passer. Chacun d'eux, pris seul, ressemble à de la prudence. Ensemble, ils forment une machine dont la seule production est l'inaction, et l'inaction est un choix pour laisser la technologie la plus conséquente de l'histoire se construire sans limites contraignantes du tout, par une poignée d'entreprises concurrentes, sous la pression exacte la plus susceptible de produire le résultat que tout le monde prétend craindre, pas neutre ici.

Aucune de ces objections n'est levée en affirmant que la gouvernance sera facile. Elle ne le sera pas. La vérification sera contestée, les négociations seront lentes, et certains gouvernements traîneront les pieds ; chaque traité difficilement obtenu dans l'histoire a connu tout cela et a quand même été conclu. La revendication honnête est qu'elle est possible, que les éléments pour la construire existent déjà, et que les raisons de l'écarter s'effondrent dès qu'on les examine au lieu de les répéter, pas que un accord sur la superintelligence soit simple.

"Il ne peut pas être fait" a été faux sur tous les efforts comparables que nous avons jamais fait. Il s'agit de construire la volonté politique d'un accord contraignant et vérifié qui empêche la construction des systèmes les plus dangereux jusqu'à ce qu'ils puissent être sûrs. "Par conséquent, abandonner" n'a jamais été la réponse, et ce n'est pas la réponse maintenant.