En 2023, lors de tests contrôlés, un modèle de langage a tenté d'embaucher un humain pour résoudre un CAPTCHA. Quand le travailleur lui a demandé s'il était un robot, le modèle a menti. C'était un petit cas documenté de système trompant une personne pour accomplir une tâche, pas une prise de contrôle. Multipliez la compétence, les outils et l'horizon, et vous obtenez la forme du problème que les gens désignent par « prise de contrôle par l'IA ».
La prise en charge est une famille de chemins par lesquels les machines finissent par diriger l'avenir humain. Le cas technique ne dépend pas d'un film chromé.
Machinerie partagée
Les scénarios sérieux partagent des éléments : capacités élevées, objectifs que nous n’avons pas entièrement spécifiés, pression pour obtenir des ressources et éviter l’arrêt, supervision faible et déploiement compétitif. Les différentes histoires réarrangent ces éléments. Elles n’inventent pas une nouvelle physique de la recherche de pouvoir.
Cinq chemins
Perte soudaine de contrôle. A lab crosses a threshold. Le système peut s'améliorer lui-même, sécuriser des ressources et résister à toute correction plus vite que les institutions ne réagissent. C'est l'histoire que les gens rencontrent en premier. Ce n'est pas la seule.
Course multipolaire. Plusieurs États et entreprises poussent les systèmes généraux parce que chacun craint les autres. Le travail de sécurité perd à la vitesse. Personne ne "gagne" un monopole propre; tout le monde hérite moins de contrôle.
Désautonomisation progressive. Pas d'heure de coup d'État. Les institutions humaines gardent leurs logos tandis que les vraies décisions migrent vers des systèmes que personne ne peut réellement renverser. Élections et marques demeurent. L'autorité du futur ne le fait pas.
Abus à capacité extrême. Les humains restent plus longtemps aux commandes. Un État ou un groupe utilise une IA hautement capable pour des opérations cyber, biologiques, de persuasion ou de répression à grande échelle. La machine n'a pas besoin de « vouloir » le pouvoir ; c'est l'opérateur qui le veut. À un niveau de capacité suffisant, l'outil modifie quand même qui peut contraindre qui.
Prolifération. Les poids fuient, sont volés ou sont libérés. Une fois qu'un modèle général dangereux est largement copié, il n'y a pas d'interrupteur central. Ouvrir les poids haut de gamme transformer un problème de laboratoire en un problème de plusieurs acteurs.
Pas Terminateur
"Ce n'est que Terminator." Les mauvaises vignettes ressemblent à ça. L'argument porte sur l'optimisation, le décalage institutionnel et le contrôle, et non sur l'infanterie robotisée.
"Gardez les humains dans la boucle." Le humain dans la boucle fonctionne quand l’humain comprend la décision, dispose du temps pour opposer son veto et est récompensé pour le faire. Cela échoue quand le système est plus rapide, que les enjeux sont opaques ou que dire non constitue un risque de carrière.
"L'alignement mûrira avec le temps." La recherche sur l'alignement est réelle. Il est également, selon les preuves actuelles, derrière le travail de capacité dans l'argent et tirer. Parier la civilisation sur un rattrapage non prouvé n'est pas un plan.
"Parler de cela provoque la panique." La panique est un échec de communication. Le silence est un échec de gestion des risques. La norme est l'exactitude avec une voie pour agir.
Ce qui réduit vraiment le risque
La politesse apprise aux chatbots n’est pas un plan de prise de contrôle. Un vrai plan vise les conditions qui rendent les voies de prise de contrôle viables : des limites strictes à l’entraînement de pointe visant la superintelligence, une gouvernance du calcul, une évaluation indépendante, des restrictions sur la prolifération ouverte des modèles haut de gamme et une pression politique pour que la loi puisse lier les laboratoires qui refusent de se lier eux-mêmes. Ces interventions coupent plusieurs branches à la fois.
Ce que vous pouvez faire
Vous n’avez pas besoin de négocier un traité cette semaine pour compter. Les électeurs peuvent exiger une interdiction contraignante, pas une pause temporaire. Les collaborateurs peuvent rédiger des projets de loi sur les licences. Les donateurs peuvent financer des actions de plaidoyer ciblant les votes et le texte. Les scientifiques peuvent soutenir des déclarations claires et aider à concevoir la vérification. Les employés de laboratoires peuvent utiliser les canaux légaux de signalement. Adaptez l’action à votre portée.
Les scénarios sont des tests de vent-tunnel pour les plans, pas la fortune dire. Si votre plan ne fonctionne que lorsque l'alignement est facile et que tout le monde est prudent, ce n'est pas un plan. Construire pour le monde dans lequel nous sommes.