Presque tous ceux qui travaillent sur la sécurité de l'IA en public ont été appelés doomer. L'étiquette arrive avant l'argument, avant un mot sur les probabilités ou les échéanciers ou ce que le « contrôle » signifierait. Les personnes qui augmentent le risque obtiennent souvent un label en premier: peur, anti-futur, doomer. Le label vous permet de sauter le débat.

Le coup le plus efficace du camp accélérationniste est un nom, pas un argument.

D'où vient le mot

Vers 2022 et 2023, le débat sur la sécurité de l'IA a cessé d'être une conversation interne entre chercheurs pour déborder sur les réseaux sociaux, où les arguments forment des camps et les camps reçoivent des noms. Le camp des accélérationnistes (ceux qui pensent qu'il faut construire l'IA le plus vite possible) a adopté le suffixe « e/acc » comme insigne et l'a porté dans leurs pseudos. Il leur fallait un nom pour l'autre camp. « Doomer » a fait l'affaire, souvent associé à « decel », abréviation de deceleration, le péché de vouloir aller plus lentement.

L'humeur s'est durcie en octobre, lorsque Marc Andreessen a publié "Le Manifeste Techno-Optimiste". Il se lit moins comme un argument qu'une croyance, et il comprend une liste de ce qu'il appelle l'ennemi, parmi les entrées, « risque existentiel » et « le principe de précaution », l'idée simple que vous pourriez vouloir comprendre une technologie puissante avant de le déployer à l'échelle. Une fois que la préoccupation elle-même est déposée sous « l'ennemi », les personnes qui la détiennent n'ont besoin qu'une étiquette plus courte pour une utilisation quotidienne. "Doomer" a fait le reste, au lieu de Cas d ' accélération.

Ce que l'étiquette fait réellement

Un doomer est un personnage, pas un argument. Cela transforme un débat en type de personnalité, et les types de personnalité n'ont pas à être réfutés, seulement diagnostiqués.

Le côté sécurité dit que le risque de catastrophe d'un système superintelligent est suffisamment élevé (pas certain, assez élevé) pour que nous puissions construire la capacité de contrôler ces systèmes avant de construire les systèmes. Vous pouvez pousser sur chaque partie de cela. Vous pouvez argumenter que la probabilité est plus faible que nous ne le pensons, que le délai est plus long, que le « contrôle » est le mauvais cadre, que la gouvernance fera plus de mal que le risque qu'elle aborde.

« Doomer » l’escamote. Le mot dit : vous êtes le genre de personne qui a peur de demain. Votre position est une humeur, pas une thèse, et les humeurs n’ont pas besoin d’être réfutées : la manœuvre rhétorique la plus ancienne, l’argument ad hominem plutôt que sur le fond, habillée à neuf. Son élégance tient à ce qu’elle n’a jamais à toucher le désaccord réel. Elle déplace tout le débat de « est-ce vrai » vers « quel genre de personne y croit », là où l’accélérationniste a déjà décidé de la réponse.

Le mot transforme un argument en type de personnalité, et les types de personnalité n'ont pas à être réfutés, seulement diagnostiqués.

Pourquoi ça marche

Le label fonctionne parce qu’il est construit à partir de choses que les gens veulent déjà croire sur eux-mêmes.

Commençons par l'évidence : personne ne veut être le pessimiste. L'optimisme passe pour de la confiance et de l'énergie ; la prudence passe pour de la timidité et de la peur. Présenter le choix comme celui du bâtisseur contre le catastrophiste et la plupart des gens savent déjà quelle chaise ils préféreraient occuper. Le cadrage a fait son œuvre avant qu'un seul fait n'arrive sur la table.

Il s'inspire d'une histoire que l'Amérique raconte sur elle-même. Les progrès sont bons. Les gens qui craignaient le chemin de fer, l'imprimerie, la lumière électrique avaient tort, et l'histoire se souvient d'eux comme des imbéciles. L'accélériste retire cette histoire de l'ensemble de l'étagère et jette le défenseur de la sécurité comme le nouveau nom sur la liste des personnes effrayées qui seront embarrassées par l'avenir. Le mouvement est de supposer, sans argument, qu'il est vrai encore cette fois, que la superintelligence est la presse à imprimer et non quelque chose de nouveau. Si c'est la même histoire, c'est toute la question, et l'étiquette existe donc la question ne se pose jamais.

À qui le terme est destiné

Alignez les personnes visées et la caricature s'effondre entre vos mains.

En 2023, Geoffrey Hinton a quitté la ville pour parler du risque sans conseiller d'entreprise ; il est aussi proche d'un père fondateur que le champ. Yoshua Bengio, parmi les chercheurs les plus cités vivants, est arrivé à la même inquiétude de son propre travail. En mai 2023, des centaines de scientifiques et de cadres (y compris les dirigeants des laboratoires sprintant pour construire la technologie) ont mis leurs noms à une déclaration plaçant le risque d'extinction de l'IA dans la même catégorie que les pandémies et la guerre nucléaire. Ils n'ont pas peur de la technologie. Ils ont construit celui-ci. Quoi que vous vouliez appeler leur position, "scared of the future" n'est pas une description de cela, c'est une façon de ne pas l'écouter.

Le mot aplatit aussi un large spectre jusqu'à un point. Il y a une énorme distance entre quelqu'un qui pense que la catastrophe est presque certaine et quelqu'un qui la met à quelques pour cent et veut une assurance de toute façon, la distance entre un prophète et un actuaire. Les deux sont classés comme doomers. Le label ne peut pas voir la différence parce qu'il n'a jamais été construit à; son travail est de faire un ensemble technique, varié, souvent assez modéré de vues ressemble à un culte aux yeux sauvages. Le réel fourchette des estimations des experts est la chose que l'étiquette est conçue pour effacer.

Le tell

Un mouvement confiant dans sa réponse à la question de sécurité n'aurait pas besoin d'un surnom pour les gens qui le demandent.

Si le risque catastrophique est vraiment proche de zéro, c'est une revendication que vous pouvez défendre en plein air. Montrez le raisonnement. Expliquez pourquoi les chercheurs qui ont construit les systèmes se trompent au sujet des systèmes qu'ils ont construits. Faites le cas que l'alignement s'avère facile, ou que plus d'intelligence apporte plus de soin fiable, ou que la course entre les laboratoires se corrige d'une manière ou d'une autre avant que quelqu'un coupe un coin fatal.

Le mot « doomer » vient combler l'espace où cet argument devrait se trouver. On saisit une étiquette quand on préfère éviter d'aborder le fond. Nommer son adversaire coûte moins cher que le réfuter, et de loin cela ressemble assez à une victoire pour que la foule ne sache souvent pas laquelle elle vient de voir.

Comment y répondre

Refusez le cadre. Dès que la conversation devient builder-versus-doomer, le fond a déjà quitté la pièce. Ramenez-la au niveau des faits avec une seule question : quelle probabilité attribuez-vous à un risque catastrophique, et pourquoi ce chiffre ? Presque personne qui brandit le mot comme une arme ne peut répondre, car le mot est là précisément pour qu’il n’ait jamais eu à le faire. Si vous voulez voir comment un tel chiffre est réellement construit plutôt qu’affirmé, nous avons créé une Calculatrice P(catastrophe) qui passe en revue les éléments.

Alors retirez l'étiquette de la revendication. "Doomer" agrafe une caricature (un pessimiste morose qui déteste le progrès) sur une revendication qui est généralement beaucoup plus étroite et beaucoup plus terne: que cette technologie particulière comporte un risque particulier qui justifie une attention particulière. Découpez-les. Les plaidoyer pour un bon avenir passe directement par le fait de bien gérer cette partie, pas autour.

Quand le coup le plus fort qu'un mouvement puisse porter contre ses critiques est de leur coller un nom peu flatteur, il n'a pas de réponse au risque. Notre thèse tient à ceci : une superintelligence ne se déconstruit pas, alors on ne la construit pas.