P(catastrophe) n'est pas un terme technique issu d'un article formel. Il est apparu dans les discussions en ligne sur la sécurité de l'IA comme raccourci pour une estimation de probabilité à laquelle la plupart des chercheurs avant 2020 n'auraient pas attaché de chiffre du tout. La volonté de la quantifier (traiter le risque catastrophique lié à l'IA comme une probabilité à estimer plutôt qu'une possibilité à évoquer vaguement) est l'un des changements significatifs dans la façon dont les personnes les plus proches du développement de l'IA pensent au problème.
Les estimations vont de quelques pour cent à plus de 50%, selon le chercheur et la façon dont ils évaluent la difficulté d'alignement et la rapidité de la gouvernance.
Le « doom » dans P(catastrophe) est délibérément non précisé. Différents chercheurs l'utilisent pour désigner l'extinction humaine, la perte permanente de l'autonomie humaine, la concentration permanente du pouvoir entre les mains d'un seul acteur ou toute autre catastrophe civilisationnelle. Cette imprécision est assumée ; l'objectif du terme est de forcer un raisonnement chiffré explicite sur le risque plutôt que de s'en remettre à des intuitions sur ce qui est « réel » ou « spéculatif ».
À quoi ressemblent les estimations
La fourchette entre ces chercheurs est frappante. Hinton et Yudkowsky sont séparés par des dizaines de points de pourcentage. La décomposition formelle de Carlsmith a produit une fourchette large plutôt qu'une estimation ponctuelle, reflétant une incertitude réelle à chaque étape intermédiaire. Ce que les estimations partagent, c'est qu'elles sont non triviales ; aucun des chercheurs axés sur la sécurité qui se sont sérieusement engagés sur le problème et ont avancé un chiffre n'est descendu sous environ 5 %.
Définissez votre propre avis sur chacun des points cruciaux ci-dessous et regardez-les se multiplier pour former une seule estimation.
Pourquoi la large gamme existe
P(catastrophe) en tant que nombre est le produit de plusieurs questions intermédiaires incertaines multipliées entre elles. À quelle vitesse les capacités de l'IA progresseront-elles ? Quelle est la difficulté du problème d'alignement à des niveaux de capacité supérieurs à ceux que nous avons testés ? Quelle est la probabilité qu'une IA mal alignée d'un niveau de capacité donné cause un dommage catastrophique plutôt que contenu ? Quelle est la probabilité que la gouvernance réagisse efficacement avant que le seuil critique de capacité soit atteint?
Différents chercheurs ont des distributions différentes sur ces questions, et les estimations se composent. Un chercheur qui estime que le problème d’alignement est soluble, que les capacités progresseront relativement lentement et que la gouvernance réagira à temps produira une estimation globale bien plus faible que celui qui croit le contraire sur chaque point. La large fourchette reflète une incertitude réelle sur chaque facteur, et non un désaccord qui serait résolu en examinant les mêmes preuves plus attentivement.
L'argument de la valeur attendue
Une réponse courante aux estimations non triviales de P(catastrophe) est : « Même 10 % semble trop faible pour restructurer la société autour. » Cette réponse repose sur un échec du raisonnement en valeur espérée qui ne serait pas accepté dans d'autres contextes de risque.
La probabilité annuelle d'une pandémie majeure capable de tuer des millions de personnes est estimée à moins de 1 % au cours d'une année donnée, pourtant la préparation aux pandémies bénéficie d'investissements et d'une attention politique substantiels au niveau mondial. La probabilité, au cours d'une vie, de mourir dans un accident de la route aux US est d'environ 1 %, et la réglementation de la sécurité routière est considérée comme tout à fait normale. L'argument selon lequel une probabilité de 10 % (ou même 5 %) de catastrophe civilisationnelle ne justifierait pas d'investissements de précaution sérieux n'est pas une application cohérente de la façon dont nous gérons les risques dans d'autres domaines.
La valeur attendue est la probabilité multipliée par l'ampleur. Pour les risques qui sont irréversibles et civilisationnels à l'échelle (où il n'y a pas de récupération du mauvais résultat, et le mauvais résultat ferme toute valeur future), la valeur attendue de précaution reste importante même à des probabilités bien inférieures à 10%. Une chance de 1 % de tout perdre est un problème dont le coût prévu est de 1 % de tout, ce qui, à l'échelle de ce que contient l'avenir à long terme, est un nombre énorme, pas un problème de 1 %.
Ce qui abaisserait P(catastrophe)
Les chercheurs qui affichent des estimations élevées de P(catastrophe) diagnostiquent là où le travail le plus critique doit se concentrer, et non pas se résignent à de mauvais résultats. Les facteurs qui feraient baisser P(catastrophe) dans la plupart des estimations sont bien connus : des progrès démontrés sur outils d'interprétabilité capable de vérifier l'alignement dans les systèmes frontaliers ; des approches de surveillance évolutives qui s'appliquent à des niveaux de capacité dépassant ceux des experts humains ; des cadres de gouvernance internationaux contraignants et réellement appliqués ; et un développement des capacités qui progresse plus lentement que la recherche d'alignement, de sorte que la sécurité soit établie avant que des niveaux de capacités dangereux ne soient atteints.
La Fondation met l'accent sur les cadres de gouvernance et la recherche d'alignement comme leviers principaux, plutôt que de rejeter le risque ou de traiter une estimation particulière de P(catastrophe). L'incertitude dans le "P(catastrophe)" n'est pas une raison d'attendre plus d'information, le mauvais résultat arrive à des seuils de capacité spécifiques, pas sur un échéancier qui permet un report indéfini de la précaution.