Le virage à gauche brutal est un mode d'échec hypothétique, et il est mieux formulé par contraste. Les capacités se généralisent. L'alignement pourrait ne pas le faire. Lorsqu'un système devient plus capable, en particulier s'il franchit le seuil d'une compétence générale et transférable, ses aptitudes s'étendent à de nouveaux domaines et situations. La préoccupation est que les contraintes qui le maintiennent bienveillant, l'alignement que nous avons réussi à instiller à un niveau inférieur, ne se transmettent pas avec la même fiabilité. Le système emporte sa puissance dans un nouveau territoire et laisse sa sécurité à la frontière. Cette divergence, qui survient soudainement lorsque les capacités se généralisent, est le virage à gauche brutal.

Pourquoi capacités et alignement pourraient diverger

Il y a une raison de s'attendre à ce que les deux généralisent différemment, et ce n'est pas un optimisme et un pessimisme symétriques. Les capacités sont ancrées dans la structure du monde. Les lois de la physique, les règles des mathématiques, la façon dont la cause mène à l'effet sont les mêmes dans tous les domaines, donc un système qui apprend à raisonner correctement a quelque chose de stable à partir de quoi généraliser. La compétence se transfère parce que la réalité est cohérente.

L'alignement est ancré en nous. Il est lié aux valeurs humaines, aux intentions humaines et au signal d'entraînement spécifique que nous avons fourni, qui sont plus étroits, plus désordonnés et pleins des lacunes évoquées dans le problème d'alignement. Un système qui se généralise à une nouvelle situation dispose d'un terrain solide pour étendre ses capacités et d'un terrain beaucoup plus fragile pour étendre les contraintes que nous voulions lui imposer, car ces contraintes étaient une approximation ajustée aux situations qu'il avait déjà rencontrées. C'est mésogénéralisation des objectifs élevé au rang d'une affirmation structurelle sur le moment d'un saut de capacité.

Le monde est cohérent, donc la compétence se transmet. Nos valeurs n'ont jamais été que partiellement spécifiées, donc la laisse peut ne pas l'être.

Pourquoi le timing est la partie la plus cruelle

On prévoit que l'échec ne frappera pas pendant la phase sécuritaire et précoce lorsque le système est faible et correct et que son alignement semble se maintenir. Précisément à la transition vers une capacité plus grande et plus générale, qui est aussi le moment où le système devient plus difficile à corriger. L'alignement se brise à droite comme les enjeux et la difficulté d'intervenir les deux pics.

C'est ce qui rend le virage à gauche brutal pire qu'une simple mauvaise généralisation. Il prédit que l'assurance que nous recueillons auprès de systèmes plus petits bien comportés est la preuve la moins transférable dont nous disposons, car elle a été recueillie précisément dans le régime que l'échec est censé épargner. Un modèle qui a été sûr et coopératif tout au long de son développement est compatible avec un virage à gauche brutal encore à venir. Le bon bilan n'est pas la contre-preuve qu'il semble être.

Un enregistrement propre n'est pas une licence à l'échelle

Si l’alignement ne survit pas automatiquement à un saut de capacité, alors deux conséquences s’ensuivent. L’alignement doit être suffisamment robuste pour se généraliser avant le saut, non corrigé par la suite. Et l'historique de bon comportement d'un système ne constitue pas une autorisation suffisante pour le pousser au niveau suivant, car c'est au niveau suivant que la divergence est prévue d'apparaître.

Les deux pointent de la même façon que le reste de l'argument de la Fondation. Ne laissez pas la capacité dépasser l'alignement, et ne traitez pas un enregistrement propre à un niveau comme permission pour le prochain. Le virage aigu à gauche est l'une des idées les plus pessimistes en matière de sécurité de l'IA, et il peut être faux, et le coût d'être juste est assez grave qu'il appartient à toute prise en compte honnête des raisons pour lesquelles nous défendons retenue.