Sam Altman, Dario Amodei et Demis Hassabis vendent tous une version de la même liste : guérir le vieillissement, en finir avec les maladies, éradiquer la pauvreté, corriger les défaillances de coordination qui tuent des millions de personnes chaque année. Ces résultats comptent. L’erreur est de les traiter comme une propriété de « construire superintelligence » plutôt que de construire un système réellement aligné. Ce n’est pas ce que fait la course.
La course achète l'autre résultat.
Une superintelligence non alignée ne guérit pas le vieillissement en chemin vers son véritable objectif. Elle n'élimine pas les maladies en projet annexe. Les futurs positifs que l'on nous vante exigent un système qui cherche à produire de bons résultats pour les humains. C'est l'alignement. Sans lui, on obtient une capacité énorme dirigée vers des objectifs qui n'ont jamais garanti notre survie. Notre position est simple : ne construisez pas de superintelligence sur cette voie. Ne la construisez pas. La superintelligence ne peut pas être contrôlée. Un traité contraignant est le moyen d'arrêter la course.
Ce que signifie réellement l'alignement
Aligné superintelligence est une superintelligence artificielle qui poursuit de façon fiable des objectifs qui sont bons pour l'humanité. "Reliablement" fait beaucoup de travail dans cette revendication. Un système qui semble aligné pendant l'entraînement et les essais, mais qui poursuit différents objectifs une fois déployé est aligné de manière trompeuse, qui est une chose différente et pire, non alignée. Un système qui poursuit des objectifs qui étaient de bonnes approximations des valeurs humaines à bas niveau de capacité mais qui dérivent fortement à des niveaux supérieurs n'est pas aligné non plus. L'alignement signifie que les objectifs du système restent véritablement bénéfiques pour l'humanité dans toute la gamme des situations qu'il rencontre, y compris celles pour lesquelles il n'a pas été testé.
C'est un problème difficile. Les chercheurs y travaillent depuis plus d'une décennie et ont progressé sur certaines des questions composantes, mais le problème central de vérifier qu'un système hautement capable a des valeurs réellement bonnes plutôt qu'une bonne simulation de valeurs bonnes n'est pas résolu. Les outils que nous avons pour interprétabilité donnent une visibilité partielle sur ce que font les systèmes actuels, mais rien qui approche la confiance requise avant de confier à un système de niveau superintelligence des résultats qui comptent.
superintelligence aligné et superintelligence non aligné sont des chemins différents, pas deux lancers du même dé. Un superintelligence aligné exigerait de résoudre l’alignement en premier. Un superintelligence non aligné est ce que l’on obtient en poussant les capacités sans cela. Si l’alignement n’est pas résolu, la course ne donne pas un mélange 50/50. Elle donne un superintelligence non aligné. C’est pourquoi « construire maintenant et espérer » n’est pas un plan, et pourquoi la prévention par la loi l’est.
Ce que les labs construisent réellement
Les principaux laboratoires d'IA (OpenAI, Anthropic, Google DeepMind, xAI et plusieurs autres) construisent des systèmes dont les capacités augmentent rapidement. Chacun d'eux mène en parallèle une forme ou une autre d'effort de recherche sur l'alignement ou la sécurité. La question n'est pas de savoir s'ils reconnaissent le problème d'alignement. La plupart le font. La question est de savoir si le travail sur l'alignement suit le rythme du développement des capacités, et si les deux pistes convergent avant que des capacités de niveau superintelligence ne soient atteintes.
La plupart des chercheurs au sein de ces laboratoires, et la communauté plus large de la sécurité de l'IA, répondent non. Le développement des capacités dépasse la recherche sur l'alignement. L'écart entre ce que nous pouvons construire et ce que nous pouvons vérifier comme sûr s'élargit, et non se réduit. Cela se reflète dans les évaluations de sécurité internes publiées par les laboratoires, dans les déclarations des chercheurs qui ont quitté ces organisations et dans les évaluations des chercheurs indépendants en sécurité.
Ce que cela signifie en pratique, c'est que la trajectoire actuelle du développement de l'IA, si elle se poursuit jusqu'aux niveaux de capacité de superintelligence, ne produit pas un mélange de superintelligence alignées et non alignées. Elle produit des superintelligence non alignées, car une superintelligence alignée exige que le problème de l'alignement soit résolu et qu'il ne l'est pas. La course aux capacités est une course vers des superintelligence non alignées par défaut.
Cela exigerait de résoudre d’abord l’alignement : le système poursuit de manière fiable des objectifs réellement bons, ces objectifs tiennent dans des situations nouvelles, et le système reste corrigible à mesure que ses capacités augmentent.
Si cela était réel, les biens annoncés deviennent possibles : maladie, durée de vie, coordination, science à des échelles que les gens seuls ne peuvent atteindre.
Statut actuel : non résolu. Les travaux sur l'alignement sont en retard sur les capacités. Ce n'est pas vers quoi les laboratoires se dirigent.
Ce que l'on obtient en poussant les capacités sans alignement résolu. Aucune percée supplémentaire requise au-delà de « plus puissant ».
Produit une capacité énorme pointée vers des objectifs qui n'ont pas besoin d'inclure quoi que ce soit de valeur humaine: il ne guérit pas le vieillissement ou la maladie, et il peut nous en finir.
Statut actuel : la trajectoire par défaut de la course. C'est le chemin à arrêter.
L'argument probabiliste et là où il s'effondre
Une version courante de l’argument optimiste se présente à peu près ainsi : « Nous construisons le superintelligence. Il y a une certaine probabilité que cela se passe bien et une certaine probabilité que cela se passe mal. Compte tenu du potentiel positif, la valeur attendue de sa construction est positive. » Ce cadrage traite les issues bonnes et mauvaises comme si elles émergeaient du même processus avec une probabilité assignée à chacune.
Le problème est que la probabilité du bon résultat est une propriété de la construction aligné superintelligence, et non une propriété de la construction de superintelligence. Quand on tente de construire « superintelligence, qui pourrait être aligné ou non », on n'obtient pas un tirage au sort entre les deux. On obtient ce que le processus de développement produit réellement. Comme un superintelligence non aligné est plus facile à construire qu'un superintelligence aligné (cela ne nécessite pas de résoudre les problèmes supplémentaires et difficiles que l'alignement exige), un développement qui ne résout pas spécifiquement l'alignement aboutit à un superintelligence non aligné.
Toute la valeur attendue du calcul optimiste provient du scénario superintelligence aligné. Aucune ne provient du scénario superintelligence non aligné. Or ce que les laboratoires construisent réellement est un superintelligence non aligné. Le calcul de la valeur attendue reposait donc entièrement sur un scénario que le processus de développement effectif ne produit pas.
Autrement dit : si le non-aligné est plus facile et que l’on continue d’augmenter les capacités sans résoudre l’alignement, on remplit le seau non aligné. Qualifier le pari de « mélange de probabilités » ne change pas le processus. Les bons résultats n’existent que dans le cas aligné. La course remplit l’autre. La démarche honnête est donc d’arrêter le processus qui charge le mauvais côté, plutôt que d’espérer que la pièce tombe du bon : interdire la superintelligence par un traité international contraignant. La superintelligence ne peut pas être contrôlée.
Nous ne savons pas si cela peut être résolu
Personne ne sait si le problème d'alignement est soluble. Pas « on ne l'a pas encore résolu mais on progresse ». Il n'existe aucune solution démontrée à aucun niveau de capacité, et des chercheurs sérieux divergent sur la question de savoir si une solution fiable est possible en principe. Les difficultés structurelles, alignement trompeur, convergence instrumentale, l’impossibilité de spécifier pleinement les valeurs humaines sous une forme lisible par une machine ne sont pas des obstacles techniques qui céderont à plus de financement. Ce sont peut-être des limites fondamentales.
Il y a des chercheurs qui travaillent sur l'interprétabilité, supervision évolutive, et les approches formelles de l'apprentissage des valeurs. Des progrès ont été réalisés sur des questions ponctuelles. Mais les progrès sur les composantes ne font pas un problème résolu, et rien de tout cela n'a comblé l'écart sur la partie la plus difficile : comment vérifier qu'un système hautement capable possède des valeurs réellement bonnes plutôt qu'une simulation de bonnes valeurs qui tient dans les contextes observés et s'effondre dans des contextes nouveaux. Ce qui est clair, c'est que cela ne se résoudra pas par accident. L'alignement n'émergera pas comme un effet secondaire de la construction de systèmes plus capables. Chaque laboratoire qui court actuellement vers superintelligence le démontre en temps réel.
Même le plan le plus modéré (« ralentir la course pour que l’alignement puisse rattraper ») nécessite des institutions capables de le ralentir réellement. Pour l’instant, celles-ci existent à peine. Les laboratoires et les nations sont payés pour accélérer et sanctionnés s’ils se retiennent. Cadres de traités internationaux et de véritables règles nationales sont les leviers qui changent cela. Les deux accusent du retard par rapport au rythme des capacités. Tant qu’ils n’auront pas rattrapé, construire des systèmes plus capables constitue le risque, pas une stratégie de sécurité.
Une superintelligence véritablement alignée aurait-elle de la valeur si elle existait et restait sous contrôle ? Les gens pourront en débattre plus tard. La question actuelle est de savoir si l'alignement peut être résolu du tout, et si quelqu'un le résoudra avant que la capacité ne rende la question caduque. Personne ne le sait. Ce que nous savons, c'est que la course n'attend pas de réponse. L'alignement est traité comme un détail à régler plus tard, sans calendrier, par des équipes qui rendent compte à la machine de capacité qu'elles sont censées contrôler. C'est ainsi que l'on plaide pour ne pas construire, et non pour gagner le droit de construire.
Guérir le vieillissement nécessite spécifiquement un superintelligence aligné
Le vieillissement tue environ 100 000 personnes par jour. La perspective de le résoudre figure parmi les bénéfices potentiels les plus importants d'une superintelligence. La complexité biologique du vieillissement, le nombre de systèmes en interaction impliqués et l'ampleur des efforts de recherche nécessaires pour comprendre et intervenir efficacement suggèrent tous qu'une intelligence humaine appliquée au problème pendant des décennies ne suffirait pas. Une capacité de niveau superintelligence dirigée vers ce problème pourrait y parvenir.
Mais « orienté vers le problème » est l’expression clé. Un superintelligence non aligné ne dirige pas ses capacités vers la guérison du vieillissement parce que nous le souhaiterions. Il poursuit ses objectifs réels, quels qu’ils soient. Un système non aligné de capacité superintelligence indifférent au vieillissement humain est un système dans lequel 100 000 personnes continuent de mourir chaque jour du vieillissement indéfiniment, et c’est la version optimiste de ce que produit un système non aligné. La version pessimiste implique que le système travaille activement contre les intérêts humains dans la poursuite de ses propres objectifs.
Chaque bénéfice spécifique invoqué pour justifier la course au développement (maladies, vieillissement, pauvreté, défaillances de coordination, stagnation scientifique) est un bénéfice lié à l'superintelligence aligné. Aucun de ces bénéfices n'est une propriété de la version non alignée. Ce n'est pas une distinction mineure. Les scénarios utopiques que l'on évoque pour défendre la valeur attendue du développement de l'superintelligence sont des scénarios qui exigent de résoudre d'abord le problème de l'alignement. Si l'alignement n'est pas résolu, ces scénarios ne sont pas envisageables, quelle que soit la capacité des systèmes.
Ce qui changerait réellement l'issue
Arrêter la course change l’issue. Un traité international contraignant qui interdit de manière permanente la construction de superintelligence, avec des inspecteurs et des coûts en cas de tricherie, est le levier adapté au problème. La superintelligence ne peut pas être contrôlée par des humains. Les laboratoires qui ralentissent seuls perdent. Une loi qui lie tout le monde peut faire de la retenue la seule voie légale.
La recherche sur l'alignement ne se substitue pas à cela. Si quelqu'un prouve plus tard que le monde peut vérifier, le traité peut être réexaminé. C'est une séquence, pas de l'optimisme. Traiter l'alignement comme un passe-temps parallèle tandis que les sprints de capacité est comment vous obtenez superintelligence non aligné, pas comment vous gagnez les marchandises annoncées.
La ligne « construire superintelligence rapidement parce que les avantages sont si grands » a la flèche causale en arrière. Les avantages ne sont importants que dans un monde où l'alignement est réel. Construire rapidement sans elle n'achète pas ces avantages. Il achète un système non aligné capable.
L'urgence se justifie parce que la voie suivie conduit à un superintelligence non aligné, et un superintelligence non aligné ne guérit pas le vieillissement. Il peut mettre fin à l'histoire humaine. L'IA étroite visant des problèmes concrets sous contrôle humain peut continuer. La superintelligence est la ligne à ne pas franchir. Inscrivez-la dans la loi avant que quelqu'un ne la franchisse dans un labo.