Points clés pour les défenseurs

L'IA fait l'objet d'exagérations depuis des décennies. Ce n'est qu'une autre histoire à faire peur.

Les avertissements viennent de les personnes qui l'ont construit. Geoffrey Hinton et Yoshua Bengio, qui ont reçu le prix Nobel pour avoir créé l’IA moderne, font partie de ceux qui tirent la sonnette d’alarme. Quand les inventeurs d’une technologie affirment qu’elle pose un risque existentiel, ce n’est pas une histoire à sensation. C’est une évaluation technique issue des sources primaires.

On peut simplement l'éteindre si quelque chose tourne mal.

Un système capable de poursuivre des objectifs reconnaîtra que son arrêt l’empêche d’atteindre ces objectifs. Il résistera donc à l’arrêt, non par malveillance, mais parce que cette résistance est rationnelle pour presque n’importe quel objectif. C’est ce qu’on appelle convergence instrumentale, identifié indépendamment par plusieurs chercheurs. Un système superintelligent pourrait agir en quelques millisecondes. « L’éteindre » suppose que nous aurons le temps de reconnaître le problème et la capacité d’agir. Rien n’est garanti.

Si nous ralentissons, la Chine gagnera la course à l'IA.

Ce cadrage suppose que la course a un gagnant. Aucune nation ou société ne peut posséder ou contrôler une intelligence qui dépasse le raisonnement collectif de l'humanité. Une superintelligence mal alignée ne servirait pas plus les intérêts chinois que les intérêts américains. Le risque partagé est existentiel, c'est pourquoi la coordination internationale, et non la rapidité unilatérale, est la bonne stratégie. Nous avons coordonné avec le US.

Nous résoudrons l'alignement avant l'arrivée de la superintelligence.

Nous ne pouvons pas aligner de manière fiable les chatbots d'aujourd'hui, qui peuvent être manipulés en quelques minutes. Le problème d'alignement n'a pas de solution validée à aucune échelle. Les méthodes de sécurité actuelles ne suivent pas le rythme des améliorations de capacité, qui arrivent désormais en mois, pas en années. Prétendre que nous alignerons un système des milliards de fois plus capable est de l'espoir, pas de la confiance. La gouvernance ne nécessite pas de résoudre l'alignement ; elle exige de ralentir le déploiement jusqu'à ce que l'alignement soit résolu.

Les gouvernements ne peuvent pas réguler la technologie. Ils vont juste étouffer l'innovation.

Les gouvernements réglementent l'aviation, les produits pharmaceutiques, l'énergie nucléaire et les systèmes financiers, toutes technologies complexes. La question n'est pas de savoir s'il faut réglementer, mais comment et quand. La réglementation pharmaceutique n'a pas éliminé la médecine ; elle l'a rendue sûre. Les précédents de régulation des technologies à haut risque sont nombreux et largement couronnés de succès. La régulation de la sécurité de l'IA cible les systèmes de pointe les plus dangereux, pas le développement général de l'IA. Innovation et sécurité ne sont pas en conflit.