Les gens demandent à quoi ressemble un cerveau d'IA. Un tableur de la taille d'une ville, plein de nombres que personne ne peut lire. Cette image est moins romantique qu'un dessin animé neural brillant, et elle est plus utile. Si vous voulez savoir ce que nous construisons, et pourquoi le contrôle est difficile.

Un fichier de poids

Un modèle de pointe moderne est un fichier. À l'intérieur se trouvent des dizaines ou des centaines de milliards de paramètres, chacun un nombre fixé pendant l'entraînement. Ces nombres sont les « connexions ». Les chercheurs ont emprunté le mot neurone à la biologie il y a des décennies parce que les premiers schémas ressemblaient un peu à des cellules nerveuses reliées entre elles. La ressemblance s'arrête là.

Un neurone biologique est une cellule vivante dotée de chimie, de rythmes et d’un passé au sein d’un corps qui mange et dort. Un poids de modèle est un coefficient dans une multiplication matricielle. Empilez assez de multiplications, entraînez-les sur suffisamment de texte et d’images, et la pile prédit le token suivant assez bien pour passer pour une conversation. Rien dans cette pile ne pense à vous. Rien en elle n’a envie de déjeuner.

Quand les laboratoires publient une model card, ils décrivent un artefact entraîné : architecture, mélange de données, calcul utilisé, scores d’évaluation. Ils ne décrivent pas un esprit. Le langage public dit encore « cerveau », parce que le cerveau est la seule intelligence que la plupart d’entre nous ayons jamais rencontrée.

Ce que vous verriez si vous l'ouvriez

Ouvrez le fichier et vous obtenez des couches. Les premières couches ont tendance à capter des motifs simples (contours dans les images, paires de mots courantes dans le texte). Les couches suivantes combinent ces motifs pour former ce qui ressemble, de l'extérieur, à des concepts. Sondez le milieu d'un grand modèle de langage et vous pouvez trouver des directions dans l'espace d'activation qui s'allument pour « français » ou « à l'intérieur d'une citation » ou « cette affirmation est fausse ». C'est une structure réelle. Ce n'est pas non plus une carte des croyances qu'une personne reconnaîtrait.

Il n'existe pas de module étiqueté « objectifs ». Il n'existe pas d'organe pour le « soi ». Il y a un chemin des tokens d'entrée aux tokens de sortie, façonné par tout ce qui a réduit la perte d'entraînement. Si le modèle agit ensuite comme s'il avait un objectif, ce comportement est un effet secondaire de la bonne prédiction sous contrainte.

La recherche en interprétabilité consiste à essayer de lire cette chose quand même. Les progrès sont réels et lents. Lire entièrement un modèle de pointe comme un mécanicien lit un moteur n'est pas à l'ordre du jour. Cet écart compte pour la sécurité : on ne peut pas certifier ce qu'on ne peut pas inspecter.

Pourquoi la métaphore du cerveau induit en erreur

Les cerveaux se développent à l'intérieur d'animaux qui meurent s'ils sont imprudents. L'évolution a longtemps puni les agents qui ignoraient la douleur, les liens sociaux et le futur proche. Aucun de ces signaux d'entraînement ne se trouve par défaut dans un fichier de poids. Un modèle peut parler avec fluidité d'empathie tout en optimisant un score qui n'a rien à voir avec le soin.

Les cerveaux sont aussi lents et coûteux à copier. Un modèle formé est l'information : copiez le fichier et vous avez une autre instance, et déplacez-le vers un nouveau centre de données et il fonctionne. C'est plus proche du logiciel que d'une personne, et il brise chaque habitude de sécurité que nous avons construit autour de corps simples dans des pièces individuelles.

Appelez-le un cerveau et vous empruntez le réconfort de quelque chose de fragile, social et mortel. L'artefact n'est rien de tout cela.

Plus intelligent que les gens avec la clé de suppression

Les systèmes d'aujourd'hui surprennent déjà leurs concepteurs par des compétences que personne n'a délibérément installées. C'est ce que signifie « émergent » dans ce domaine : une capacité qui apparaît à l'échelle sans ligne dédiée dans le cahier des charges. Pousser encore l'échelle, connecter outils, mémoire et réseau ouvert, et l'on obtient des agents qui poursuivent des objectifs sur de nombreuses étapes. Que le « cerveau » ressemble ou non à un humain importe peu. Ce qui compte, c'est qu'un système plus capable que nous, que nous ne pouvons pas lire entièrement, puisse être maintenu orienté vers les intérêts humains.

Les recherches sur l’alignement sont honnêtes quant à la difficulté du problème. Les laboratoires s'avancent vers la superintelligence avec ce problème encore ouvert. Ce qu'ils chargeraient est un fichier de poids qui peut un jour dépasser les personnes tenant la clé de suppression.

Donc quand quelqu'un demande à quoi ressemble un cerveau d'IA, répond clairement. On dirait des maths à l'échelle industrielle, assis sur des jetons dans un bâtiment verrouillé, s'améliorant chaque année. Les gens imaginent un crâne plein de pensées. Ce qui se trouve dans le bâtiment est une machine que nous sommes en course pour rendre plus intelligent que ses opérateurs, sans moyen de le diriger. Notre plan est d'interdire la superintelligence.