Les objections à la gouvernance de la superintelligence font quelque chose d'astucieux. Elles concèdent le danger (« bien sûr, peut-être que c'est risqué ») puis déplacent discrètement l'impossibilité de la technologie vers la solution. Si le risque ne peut être nié, peut-être que la réponse peut être présentée comme naïve, ou dangereuse en soi, ou simplement sans espoir. L'effet est le même que de nier le risque tout court : rien ne se fait.
Les règles étoufferaient l’innovation et donneraient l’avantage aux imprudents. Il est bien trop tôt. Et de toute façon, les démocraties ne parviendraient jamais à s’entendre. Voilà les arguments qui transforment l’inquiétude en paralysie.
Voici les cinq que j'entends le plus souvent, formulés aussi fortement que possible, car une réfutation d'une version affaiblie ne convainc personne. Une famille connexe d'objections (la Chine ne se conformera pas, les entreprises s'autoréguleront, on peut simplement éteindre un mauvais système) y a répondu sur la Page des mythes. Ces cinq concernent la gouvernance elle-même.
« Gouverner l'IA à l'échelle mondiale signifie un gouvernement mondial et la tyrannie. »
Concentrez suffisamment d'autorité dans un seul corps pour contrôler la technologie la plus puissante sur Terre, et vous avez peut-être construit la machine de exactement la tyrannie que vous craigniez de la technologie. Les gens qui se méfient du pouvoir centralisé ont raison de se méfier de lui.
Mais elle vise une version caricaturale de la proposition. Ce qui est réellement sur la table est un régime étroit ciblant une seule chose précise : le petit nombre d'entraînements extrêmement volumineux capables de produire un système plus puissant que n'importe quel humain dans tous les domaines, et non une autorité mondiale sur la vie quotidienne, ni sur les logiciels en général, ni sur le téléphone dans votre poche. Le modèle est celui du régime de non-prolifération nucléaire ou le Convention sur les armes chimiques, des accords ciblés qui surveillent les matières fissiles et les précurseurs chimiques, et non des gouvernements mondiaux qui auraient dissous l'État-nation. Personne ne pense que l'Agence internationale de l'énergie atomique dirige la planète. Elle surveille une activité spécifique et dangereuse et laisse tout le reste tranquille.
Le chemin le plus sûr vers une tyrannie permanente est l’absence d’un tel traité, pas le traité lui-même. Une superintelligence non contrôlée, ou capturée par une seule entreprise ou un seul État qui résout le contrôle avant tout le monde, est l’instrument de domination le plus complet jamais concevable, un pouvoir qui ne meurt jamais, ne se fatigue jamais et peut verrouiller un ensemble de valeurs pour toujours, au-delà de tout espoir de révolte ou de réforme. Chaque tyrannie de l'histoire a pris fin parce que les tyrans sont mortels et que leur machine est humaine. Celle-ci n'a pas besoin de l'être. Si vous avez peur du pouvoir incontrôlable (et vous devriez), une accord exécutoire empêcher tout acteur unique de s'emparer de ce pouvoir est la position anti-autoritaire, et non l'autoritaire.
"Vous ne pouvez pas le vérifier. C'est juste un logiciel sur un serveur quelque part."
Les traités nucléaires fonctionnent, disent les sceptiques, parce que vous pouvez compter les ogives et détecter l'enrichissement; l'uranium est physique et rare. Mais un modèle n'est que des chiffres. Vous ne pouvez pas inspecter un dossier. Tout accord serait inapplicable au théâtre, liant l'honnête et ne faisant rien sur la triche.
Cela semble décisif jusqu'à ce que vous remarquiez que vous vérifiez la mauvaise chose. Vous ne contrôlez pas les poids ; vous contrôlez les calcul qui les produit, et le calcul est à peu près aussi physique et rare que l’uranium. L’entraînement d’un système de pointe nécessite des dizaines de milliers de puces spécialisées fonctionnant pendant des mois dans une seule installation, et cette chaîne d’approvisionnement est l’un des points d’étranglement les plus étroits de l’économie moderne : essentiellement une entreprise néerlandaise fabrique les machines de lithographie, une entreprise taïwanaise produit les puces de pointe et une entreprise américaine conçoit l’architecture dominante. Les clusters qui les utilisent consomment tellement d’électricité qu’ils apparaissent dans les données de consommation et dans l’imagerie satellite. On peut compter les puces, tracer leur vente, mesurer la consommation électrique et observer les bâtiments. Les matières fissiles sont régies exactement par cette logique : suivre l’intrant physique rare et l’arme ne peut être construite en secret. Le manuel de vérification existe déjà; les données ici se trouvent être encore plus concentrées. C'est un problème d'ingénierie, et les problèmes d'ingénierie ont des solutions.
"La régulation étouffera l'innovation et laissera les imprudents gagner."
La version forte : la technologie avance parce que quelqu'un est libre de construire, la plupart des réglementations sont rédigées par des gens qui ne comprennent pas ce qu'ils ralentissent, et une main lourde sur l'IA confierait l'industrie la plus importante du siècle à celui qui réglemente le moins. Mieux vaut une frontière imparfaite ici qu'une frontière immaculée quelque part dans un pays hostile.
Personne de sérieux ne propose de réglementer l'IA. Les systèmes bénéfiques pliant les protéines, les lectures scans, le tutorat des enfants et la modélisation du climat sont des outils étroits, contrôlables, et un accord de superintelligence les laisse entièrement seuls, que avenir brillant et ordinaire est celle que nous cherchons à protéger. La cible est une seule classe dangereuse : les entraînements visant des capacités générales supérieures aux nôtres que personne ne sait encore rendre sûres. Les restreindre n’est pas plus « anti-innovation » que les règles sur les gains de fonction ne le sont pour la biologie.
Puis le point plus difficile, celui que la logique de course n’affronte jamais. Aller vite ne permet pas d’obtenir un sûr La superintelligence plus tôt. Il offre une sécurité, et une superintelligence dangereuse ne sert pas le pays ou l'entreprise qui l'a construit, il les menace avec tout le monde. Lorsque les coins sont coupés sous pression concurrentielle, le coin qui est coupé est celui qui aurait rendu le système contrôlable. Ainsi, l'innovation qui est défendue ici est l'innovation dont le critère le plus proche est un système que ses propres responsables ne peuvent pas diriger. C'est la danger lui-même, portant le progrès comme un costume.
"C'est prématuré. On ne peut pas réglementer quelque chose qui n'existe pas."
Cela ressemble à de la maturité. Ne légiférez pas contre des fantômes ; attendez que la technologie soit réelle, comprenez ce dont il s’agit, puis rédigez des règles adaptées aux faits plutôt qu’à la spéculation. Réglementer des hypothèses, c’est ainsi que l’on fait de mauvaises lois.
Ce serait de la sagesse pour presque toute autre technologie. C'est un piège pour celle-ci, et la raison en est le calendrier. La gouvernance est lente : le Traité de non-prolifération nucléaire a pris des années à négocier et le Protocole de Montréal a pris encore des années à produire ses effets, et pourtant ce sont les plus rapides. Si vous attendez qu'un système surhumain existe clairement pour commencer à construire les institutions chargées de le gouverner, ces institutions arrivent des années après la chose qu'elles étaient censées contenir, et c'est la seule technologie dont le premier échec grave pourrait ne laisser personne pour faire passer la deuxième loi. « Attendre la preuve » est une règle judicieuse quand la preuve est survivable. Ici, la preuve est la catastrophe. La logique de précaution est la reconnaissance que le délai pour le traitement est plus long que le fusible sur le problème.
Toute mesure de sauvegarde efficace pour une technologie catastrophique a été mise en place avant ou pendant son essor, jamais après, car « après » n'a jamais été une option.
"Les démocraties sont trop lentes et capturées. Cela ne passera jamais."
La plus discrètement corrosive des cinq, parce qu'elle porte le manteau du réalisme. Le blocage, le lobbying, la courte attention des assemblées législatives, la portée de l'argent de l'industrie. Même si un traité était sage, le mécanisme de production est rompu. Mieux vaut être limpide que gaspiller une décennie sur un fantasme.
Elle est réfutée par le dossier historique, à plusieurs reprises, et généralement contre des risques pires que ceux auxquels nous sommes confrontés aujourd'hui. L'idée que les puissances rivales signeraient leurs options les plus meurtrières a été appelée naïveté désespérément, jusqu'à ce qu'ils le fassent, dans la Traité de non-prolifération, les Conventions sur les armes biologiques et chimiques, le Protocole de Montréal, le Traité sur l'Antarctique. Des adversaires qui se livraient à des guerres par procuration et s'injuriaient mutuellement ont pourtant construit un contrôle des armements vérifié au plus fort de la Guerre froide. Chacun de ces accords semblait impossible d'un côté et inévitable seulement avec le recul.
Et le terrain est plus favorable que ne l'admet le cynisme. Aux États-Unis, au Royaume-Uni et au sein de EU, larges majorités disent déjà aux sondeurs qu’ils souhaitent que l’IA soit développée avec prudence et soumise à des règles strictes ; le public n’est pas l’obstacle. L’obstacle est que cette inquiétude répandue et discrète n’a pas encore été organisée en pression que le corps législatif peut ressentir. L'obstacle est un emploi: transformer l'accord latent en volonté politique. C'est précisément le travail qui nous attend.
Ce que les cinq ont en commun
Chaque objection admet le danger et trouve alors un endroit différent pour abandonner: la solution est trop grande, invérifiable, trop coûteuse, trop tôt ou trop difficile à passer. Chacun d'eux, pris seul, ressemble à de la prudence. Ensemble, ils forment une machine dont la seule production est l'inaction, et l'inaction est un choix pour laisser la technologie la plus conséquente de l'histoire se construire sans limites contraignantes du tout, par une poignée d'entreprises concurrentes, sous la pression exacte la plus susceptible de produire le résultat que tout le monde prétend craindre, pas neutre ici.
Aucune de ces objections n'est levée en affirmant que la gouvernance sera facile. Elle ne le sera pas. La vérification sera contestée, les négociations seront lentes, et certains gouvernements traîneront les pieds ; chaque traité difficilement obtenu dans l'histoire a connu tout cela et a quand même été conclu. La revendication honnête est qu'elle est possible, que les éléments pour la construire existent déjà, et que les raisons de l'écarter s'effondrent dès qu'on les examine au lieu de les répéter, pas que un accord sur la superintelligence soit simple.
"Il ne peut pas être fait" a été faux sur tous les efforts comparables que nous avons jamais fait. Il s'agit de construire la volonté politique d'un accord contraignant et vérifié qui empêche la construction des systèmes les plus dangereux jusqu'à ce qu'ils puissent être sûrs. "Par conséquent, abandonner" n'a jamais été la réponse, et ce n'est pas la réponse maintenant.