L'IA constitutionnelle est une méthode d'entraînement mise au point par Anthropic. L'idée est de réduire la dépendance du comportement du modèle à l'égard d'humains qui étiquettent manuellement les sorties nuisibles, et de faire plutôt évaluer ses propres réponses par le modèle selon un ensemble écrit de principes, appelé constitution.
En pratique, cela fonctionne en deux étapes. D'abord, le modèle génère une réponse, puis la critique par rapport à la constitution et la révise, en apprenant de ses propres corrections. Ensuite, le modèle compare des paires de réponses et juge laquelle satisfait mieux les principes, et ces jugements l'entraînent à peu près comme le font les classements humains dans RLHF. Parce que le retour provient du modèle appliquant la constitution plutôt que des humains, une partie de l’approche est parfois appelée apprentissage par renforcement à partir de retours d’IA.
Ce qu'il a raison
Il y a de réels avantages, et ils méritent d'être reconnus clairement.
- Les principes sont explicites. Au lieu de valeurs implicites dans des milliers d'étiquettes humaines individuelles, il y a un document écrit que l'on peut lire, débattre et réviser. C'est plus transparent qu'un tas de notes.
- Cela permet de mettre à l'échelle la génération de retours. L'étiquetage humain de contenus nuisibles est lent, coûteux et difficile pour les étiqueteurs. Laisser le modèle effectuer une plus grande partie de ce travail supprime un goulot d'étranglement.
- Cela peut améliorer la cohérence. Une norme écrite appliquée uniformément évite une partie du bruit et de la dérive de nombreux évaluateurs humains différents à des jours différents.
Ce sont de véritables avancées en ingénierie, et l'IA constitutionnelle a produit des modèles à la fois plus utiles et moins sujets à des dommages évidents. La Fondation n'a aucun intérêt à rejeter un travail utile.
Ce qu'il ne résout pas
Les questions plus difficiles survivent intactes à la méthode, et il est important de comprendre pourquoi.
La technique optimise toujours un modèle pour satisfaire une norme énoncée telle qu’elle est jugée par un modèle. Elle sort l’humain de la boucle par réponse et ne change pas la forme sous-jacente du problème : le système est entraîné à produire des sorties qui obtiennent un bon score par rapport à une cible. Si la constitution est incomplète ou si ses principes entrent en conflit dans une situation que personne n’avait anticipée, le modèle optimise la lettre de ce qui est écrit, avec la même Goodhart pressions comme avant. Consigner les valeurs dans une constitution ne résout pas la difficulté de les spécifier ; cela la déplace dans le document.
Deux limites plus profondes restent intactes. La méthode façonne le comportement et ne donne aucune garantie sur les objectifs internes du modèle ; d’où l’écart entre sembler aligné et être aligné, le alignement interne problème, reste ouvert. Et il repose sur le jugement du modèle lui-même concernant ses propres sorties, ce qui n'est fiable que dans la mesure où le modèle est honnête et capable de juger, précisément ce que nous ne pouvons pas supposer pour un système approchant ou dépassant notre propre niveau.
L'IA constitutionnelle est une meilleure façon de guider le comportement. Guider le comportement n'a jamais été la partie de l'alignement que nous ne savions pas comment faire.
Garder le sens des proportions
L'IA constitutionnelle est un bon exemple d'un modèle que la Fondation surveille de près : des progrès réels et précieux en matière de sécurité, faciles à surlire autant qu'elle ne l'est. Des méthodes comme celle-ci rendent les modèles actuels plus contrôlables et plus transparents au sujet de leurs normes, et cela vaut la peine d'être utilisé. Ils ne démontrent pas que nous pouvons aligner un système qui nous surpasse, et ils ne comblent pas l'écart de vérification sur lequel s'appuie tout notre argument. Les progrès en matière de formation sont les bienvenus. Ce n'est pas une raison pour maintenir la capacité d'échelle en supposant que le reste suivra.