La bombe a été construite, dirigée, et, jusqu'à présent, jamais utilisée contre une ville après 1945. Les gens qui ont fait que « jusqu'ici » tenir, ceux qui ont passé la guerre froide à construire les interdictions d'essai, les lignes téléphoniques, et les régimes de vérification qui ont gardé une impasse terrifiante de devenir une dernière, ont fait certains des travaux les plus importants du siècle dernier. La plupart ne seront jamais célèbres. La prévention est tranquille par nature. Quand ça marche, rien ne se passe, et rien n'est difficile à mettre sur un monument.
La même forme, une nouvelle arme
Quand je dis que nous vivons une nouvelle guerre froide, je veux dire la même forme : les États-Unis et la Chine se promènent vers une technologie et ne peuvent pas laisser l'autre atteindre d'abord, cela pourrait mettre fin à l'histoire humaine si elle tourne mal, et que personne ne peut honnêtement prétendre au contrôle. Échangez la bombe à hydrogène pour la superintelligence artificielle et vous avez 1958 et 2026.
Je ne suis pas le seul à percevoir cet écho. En juin, le directeur de la CIA a déclaré devant un public à Washington qu'il ne serait pas déplacé d'évoquer les capacités des modèles de pointe actuels "des armes nucléaires numériques."
Les différences vont dans le mauvais sens
Il existe de vraies différences entre hier et aujourd’hui, et c’est ce qui m’empêche de dormir. Presque toutes rendent notre situation plus difficile, pas plus facile. Une arme nucléaire reste entre des mains humaines ; une superintelligence ne ferait pas. La matière nucléaire est physique, donc extractible et comptable. Les intrants de l’IA sont des puces et du code, plus difficiles à voir et plus faciles à dissimuler, bien que pas impossible à gouverner. Et la Guerre froide a offert à ses participants une chose que nous n'aurons peut-être pas : du temps. Le monde a eu des années pour absorber Hiroshima, pour ressentir la peur au creux de l'estomac et pour construire des institutions en réponse. Les capacités de l'IA progressent plus vite que toute institution que nous avons ne peut suivre.
Ce que la Guerre froide a réellement prouvé
Mais la même époque a démoli l’argument sur lequel les accélérationnistes s’appuient le plus : celui selon lequel des rivaux qui se méfient les uns des autres ne peuvent jamais s’entendre pour se retenir. Washington et Moscou ne se faisaient aucune confiance, et ils ont pourtant signé des accords de maîtrise des armements contraignants et vérifiables, parce que chacun voyait qu’une course sans limites les laissait plus mal lotis qu’une règle les liant également. La méfiance était la raison des traités, non l’obstacle à ceux-ci. Si deux gouvernements ont pu trouver cette logique avec des dizaines de milliers d’ogives pointées sur les villes de l’autre, l’affirmation confiante que les États-Unis et la Chine ne peuvent jamais en faire autant sur l’IA est un alibi pour continuer, déguisé en réalisme lucide.
Pourquoi la Fondation existe
Je refuse de faire partie de la génération qui a construit l'arme capable de viser elle-même et de se dire, tout le chemin là-bas, qu'elle n'avait pas le choix.
Ceux qui ont évité le pire de la guerre froide y sont parvenus en affirmant, contre tous ceux qui les traitaient de naïfs, que certaines technologies sont trop dangereuses pour être livrées à une course. Ils avaient raison alors. La seule tâche qui compte aujourd’hui est d’avoir à nouveau raison, et à temps.