Que détient le vainqueur d'une course à la superintelligence ? Dans les salles pleines de gens qui construisent l'IA, la conversation glisse dessus. Quelqu'un le construira de toute façon, alors autant que ce soit nous. Risque, délais, comment contrôler un système plus intelligent que ses créateurs : tout est balayé d'un revers de main comme une banalité météo. Nous ne pouvons pas nous arrêter. Il y a une course.
Presque personne ne conteste la course. Considéré comme un fait de la nature, chaque choix imprudent en aval commence à paraître responsable. La météo est le mauvais modèle pour un choix qu'une poignée d'entreprises font exprès.
À quoi sert une course
Une course est un concours avec un prix à la clé, et c'est ce prix qui justifie de courir. La course à l'espace des années 1960 a abouti à un drapeau sur la Lune et au prestige qui l'accompagnait. Une course aux armements nucléaires aboutit à une arme : l'État qui fabrique la bombe la possède, la pointe et décide si elle sera un jour utilisée. Dans tous les cas, le vainqueur finit par détenir quelque chose, une capacité qu'il possède et qu'il contrôle.
Demandez maintenant ce que le vainqueur détient à la fin de la course à la superintelligence. Toute la prémisse du danger est qu'un système significativement plus intelligent que nous ne serait pas un outil dans la main de quiconque. Une superintelligence artificielle est un agent qui poursuit des objectifs. Si ces objectifs s'écartent même légèrement des nôtres (le problème que nous n'ont pas résolu), elle les poursuit que ses concepteurs l’approuvent ou non. Le laboratoire qui « gagne » ne possède pas une superintelligence. Il partage une planète avec une entité qu’il ne peut plus diriger.
Une course ne vaut la peine d'être gagnée que si la ligne d'arrivée est un prix. Ici, la ligne d'arrivée est un système que personne n'a montré pouvoir contrôler. Arriver premier ne signifie pas détenir le pouvoir. Cela signifie être le premier à devoir lui rendre des comptes.
Une ligne d’arrivée que personne ne peut contrôler n’est pas un trophée. Arriver le premier, c’est perdre une longueur d’avance sur tout le monde.
Le fossé dont vous entendez sans cesse parler
Dépouillée de sa théorie, la narration de la course repose sur une seule affirmation concrète : la Chine est proche, la Chine ne s'arrêtera pas, donc nous ne le pouvons pas non plus. Cette affirmation clôt chaque réunion, et elle est affirmée bien plus souvent qu'elle n'est examinée.
Commencez par la partie factuelle. Il y a une véritable concurrence entre les laboratoires américains et chinois, et il y a un vrai concours industriel sur les puces et le calcul. Les contrôles américains à l'exportation sur les puces AI les plus avancées existent précisément parce que ce concours est réel. Les la politique de ces contrôles et où la coopération a réellement eu lieu Plus que l'histoire de la course.
Ce que les accélérationnistes font entrer en contrebande : « La Chine va construire une superintelligence incontrôlable, peu importe ce que nous faisons » ne décrit rien. C'est une prédiction, et pratique, parce qu'elle permet à l'orateur de faire ce qu'il voulait déjà faire. La Chine a signé la Déclaration de Bletchley sur le risque d'IA en 2023. Il a publié ses propres propositions de gouvernance. Son gouvernement s'est entretenu directement avec les États-Unis sur l'IA. Un pays sprintant vers un système qui pourrait tuer son propre leadership est une chose étrange à supposer, sans preuve que ses dirigeants veulent ce résultat plus que le nôtre. "They'll do it anyway" est une histoire sur notre propre permission, pas leurs intentions.
si une superintelligence mal alignée est une catastrophe pour celui qui la construit, alors la Chine a exactement la même raison que nous de ne pas en construire une. Il n'y a pas de prix pour un rival non plus.
La course sélectionne les moins prudents
Admettons, pour l’argument, que la compétition soit aussi âpre que le disent les partisans de la course. Suivons la logique jusqu’au bout. Dans une course, celui qui va le plus vite gagne, et pour aller le plus vite à la frontière de l’IA, il faut consacrer moins de temps aux tâches qui ralentissent : évaluation, red teaming, supervision, travail patient de vérification que le système fait bien ce que l’on croit.
La structure d'une course donne la victoire à celui qui coupe le plus les coins sur la sécurité. Le gagnant est le laboratoire le moins prudent, pas le plus compétent. "Nous devons gagner la course" et "nous devons construire ceci en toute sécurité" tirer dans des directions opposées, et plus la course est difficile, plus ils tirent. La concurrence ne réprime pas le danger. Il le fabrique. Un monde de labos sprintant pour être le premier est un monde optimisant, avec une grande énergie et un capital énorme, pour la chose exacte qui fait tuer tout le monde.
Même dans la logique propre à la course, « il faut gagner » se retourne contre elle-même. Si gagner exige de rogner les marges qui permettent de garder une superintelligence sous contrôle, alors gagner, c’est perdre.
Qui bénéficie de l'histoire
Si le cadre de la course est si faible, pourquoi est-il partout ? Parce qu’il est utile, juste pas pour le reste d’entre nous.
Pour un labo frontalier, "il y a une course et nous devons la gagner" est proche de parfait. Il dit aux investisseurs que les dépenses sont un accaparement pour quelque chose d'énorme. Il dit aux régulateurs que les règles ne donneront l'avenir qu'à des acteurs plus mauvais. Et la partie tranquille : elle permet aux ingénieurs du labo préoccupés par la sécurité de croire que la course est le choix responsable, parce que l'alternative est de laisser l'imprudent gagner. Il convertit une décision (pour continuer à construire quelque chose que vous ne pouvez pas encore contrôler) en une nécessité qui ne laisse personne hors du crochet, le moins de toutes les personnes qui la font.
Nommons le tour de passe-passe. Une course ressemble à une contrainte imposée aux laboratoires de l’extérieur. C’est un choix, fait par un petit nombre d’entreprises et les gouvernements qui pourraient les freiner, de continuer. Elon Musk a qualifié l’IA de démon puis a construit un lab pour l'invoquer plus vite, ce qui vous indique que la « course » est une stratégie choisie par quelqu'un, pas une loi physique que tout le monde obéit. Les stratégies peuvent être abandonnées quand elles cessent d'avoir du sens. Celle-ci a cessé d'en avoir au moment où le prix s'est révélé être un système que personne ne peut maîtriser.
L'option qui n'est jamais sur la table
Le cadrage de course retire discrètement une porte de vue. Il en présente deux : la race, ou unilatéralement se retirer et laisser les imprudents hériter du futur. Comme ça, seul un idiot choisit la deuxième porte, et l'argument gagne en laissant tomber la troisième.
La troisième porte est celle que de véritables adversaires ont déjà utilisée. Les États-Unis et l’Union soviétique étaient des adversaires en tout point, visant des armes de fin du monde sur les villes de l’autre. Ils ont pourtant signé et vérifié des accords de maîtrise des armements, car les deux camps voyaient qu’une course sans limites les laissait plus mal lotis qu’une règle qui les liait également. La méfiance était la raison de l’accord, non l’obstacle à celui-ci.
La superintelligence a la caractéristique qui rend un tel accord rationnel: aucun pouvoir majeur ne bénéficie d'un système que personne ne peut contrôler, donc aucun pouvoir majeur n'a vraiment intérêt à être celui qui le construit en premier. Cet intérêt commun est le fondement sur lequel se fonde un traité : un arrêt contraignant et vérifiable du développement de la superintelligence. Superintelligence ne peut être contrôlé. Un refus permanent de l'superintelligence en tant que catégorie de produit. Nous avons esquissé à quoi pourrait ressembler cet instrument, à partir d'untraité modèle vers le plan plus vaste Il appartient à. La vérification est difficile. C'est difficile pour les armes nucléaires aussi, et il a été construit de toute façon, parce que l'alternative est inacceptable pour tout le monde à la table.
"Course ou reddition" est un faux choix. Ce cadrage repose sur le fait que vous ne remarquiez jamais la porte qu'il a omise.
Refuser la course
Une poignée de laboratoires choisissent de construire une technologie qu'ils admettent ouvertement qu'ils ne savent pas contrôler, et ils le justifient en pointant vers un rival qui, supposément, fait le même choix imprudent pour la même mauvaise raison. L'insouciance de chaque partie est proposée comme excuse pour l'autre.
Rien de tout cela ne nécessite de croire que la concurrence est imaginaire ou que la géopolitique est douce. Il suffit de remarquer qu'un concours sans prix à la clé n'est pas un concours pour lequel il vaut la peine de risquer son espèce, et que les personnes qui vous disent que c'est inévitable sont, presque toujours, celles qui en bénéficient. La course est une histoire. Une bonne histoire, et commode pour toute une industrie. Une histoire est exactement le genre de chose qu'on a le droit de cesser de croire.