"Si nous arrêtons de construire la superintelligence, quelqu'un d'autre le fera." C'est le genre conversationnel dans une centaine de pièces. On dirait la géographie et la théorie du jeu. Souvent c'est un moyen de continuer à construire tout en appelant la construction inévitable. Essayez la même forme avec une technologie que nous avons déjà manipulée. "Si nous arrêtons de fabriquer des réfrigérateurs à CFC, quelqu'un d'autre continuera à fabriquer des réfrigérateurs."

Oui, ils ont continué à fabriquer des réfrigérateurs et ont simplement arrêté d’utiliser le produit qui crevait un trou dans le ciel.

Deux noms différents

Un réfrigérateur est un service : aliments frais, vaccins, moins de gaspillage. Les chlorofluorocarbures étaient un moyen d'obtenir ce service, et un désastre pour la couche d'ozone une fois la chimie établie. Le Protocole de Montréal n'a pas interdit le froid. Elle a prévu l'élimination progressive des substances qui causent les dommages, financé des solutions de remplacement pour les pays les plus pauvres et soutenu la lutte contre la pression commerciale. L'industrie avait déclaré que l'élimination était impossible; la réfrigération se poursuivait, et les CFC ne l'étaient pas.

La rhétorique de la superintelligence s'effondre en un seul nom. L'IA devient un seul blob qui comprend des modèles de cancer, des planificateurs de route et un agent hypothétique plus intelligent que l'espèce humaine. Si vous refusez le dernier article, les accélérationnistes disent, vous avez refusé les premiers aussi, et quelqu'un de moins scrupuleux l'expédiera. Le mouvement est de prétendre que le poison est identique au produit de sorte que l'élimination du poison sonne comme une guerre sur le produit.

Nous n'avons pas sauvé la couche d'ozone en utilisant plus de CFC que nos rivaux. On a gardé le frigo et retiré le produit chimique.

À quoi sert « quelqu'un d'autre le fera »

Un labo rival, ou un état rival, pourrait essayer de s'entraîner à travers n'importe quelle ligne que vous dessinez. Cette possibilité est suffisamment réelle pour être envisagée. C'est aussi la possibilité que le contrôle des armes ait été inventé pour gérer. La réponse à « quelqu'un d'autre pourrait construire une tuba » n'était pas « alors nous devons construire une tuba encore plus grande ». Il s'agissait de la vérification, des étouffements sur les matières fissiles et des conséquences pour la cassure.

Le calcul est plus compliqué que l'uranium, et personne de sérieux ne prétend le contraire. Il reste physique, coûteux à la frontière et passe par une courte liste de fabricants de puces, de fonderies et de régions cloud. C'est une structure suffisante pour bâtir des inspections, c'est pourquoi gouvernance du calcul apparaît dans chaque ébauche sérieuse de traité. « Quelqu'un d'autre le fera » saute ce travail et passe directement à la permission.

Si la contrainte est encadrée comme une capitulation unilatérale, alors la seule posture adulte est pleine vitesse. Les investisseurs entendent le destin. Le personnel de sécurité entend que le ralentissement est naïf. Les chefs de laboratoire n'ont pas besoin de gagner un débat sur les mécanismes. Ils n'ont besoin que de faire la troisième option, la retenue partagée, se sentent enfantins.

Le frigo n'a jamais été l'ennemi

Nous voulons une IA étroite qui diagnostique, conçoit des médicaments et détecte des défauts dans les ponts. Dites-le clairement pour que la calomnie ne colle pas. La ligne de la fondation est un refus de construire systèmes qui dépassent et remplacent le contrôle humain alors que le problème de contrôle reste non résolu.

C’est plus proche de « utiliser d’autres fluides frigorigènes » que de « interdire le froid ». Ceux qui effacent cette distinction empruntent la popularité de l’IA utile pour justifier une capacité qui ne restera pas un simple outil.

Ce que la lutte pour l'ozone nous apprend vraiment

Montréal a travaillé parce que la science était bruyante, qu'il existait des substituts et que les caleçons faisaient face à des coûts commerciaux. La superintelligence est plus difficile à remplacer par une "dominance stratégique", et les dirigeants de l'IA ignorent plus facilement : aucune puissance majeure n'a un intérêt cohérent dans un système qui ne reste sous le commandement de personne. La vulnérabilité partagée est la matière première d'un accord. Rival peur peut financer un traité aussi facilement qu'il finance un sprint, une fois la finition creuse visible.

Demandez s'ils signifient l'intelligence artificielle ou la superintelligence utile: nous conservons les outils et arrêtons le système que personne ne peut contrôler. Pour la superintelligence, le risque de défection est une raison de renforcer l'application de la loi, et non une raison de prédéfavoriser. Les frigos couraient. Le ciel a guéri parce que les gens pouvaient faire la différence.