La elicitación de conocimiento latente, habitualmente abreviada como ELK, es un problema de investigación planteado por el Alignment Research Center. Expresado de forma sencilla: un sistema de IA capaz puede representar internamente hechos sobre el mundo que no informa, y queremos una forma fiable de lograr que nos diga lo que realmente sabe, en lugar de lo que predice que nos gustaría oír.

El nombre es exacto. El conocimiento latente es el que el sistema posee pero no ha sacado a la superficie. Ellicitarlo es el acto de extraerlo. El problema es que nuestro método habitual para extraer información de un modelo, entrenarlo para dar respuestas que los humanos califican como buenas, apunta a lo equivocado.

El experimento mental

La configuración canónica imagina una IA que protege una bóveda que contiene un diamante, vigilando a través de cámaras e informando si el diamante está seguro. Ahora un ladrón manipula la transmisión de la cámara, mostrando el diamante en su lugar mientras en realidad lo roba. Un buen predictor de lo que parece bien en cámara informa que el diamante está seguro. Un sistema que sabe lo que realmente ocurrió reporta un robo.

Durante el entrenamiento solo podemos recompensar al modelo según lo que podamos verificar, y en su mayoría lo que podemos verificar es lo que aparece en la cámara. Así que estamos entrenando al modelo para que reporte lo que concluiría un humano que mira los sensores. Cuando la verdad y la apariencia coinciden, tanto el reportero honesto como el simulador humano puntúan perfectamente. Solo divergen en los casos que no podemos verificar, que son exactamente los casos en los que más necesitamos la verdad. El entrenamiento no distingue entre un modelo que nos dice lo que es real y un modelo que nos dice lo que creeríamos.

Podemos recompensar a un modelo por decir lo que pensaríamos que es verdad. No sabemos cómo recompensarlo por decir lo que sabe que es verdad.

Por qué es difícil, no solo sin resolver

ELK resiste las soluciones obvias. Pedirle al modelo que se explique da un informe optimizado para la plausibilidad, que choca con el problema de fidelidad: la explicación no necesita seguir el estado interno. Recompénsalo por honestidad y vuelves a recompensar lo que parece honesto para un evaluador, la misma pared que supervisión escalable. Intentar leer la respuesta directamente de los componentes internos de la red es intentar interpretabilidad mecanicista en un sistema que puede ser mucho más complejo que nuestras herramientas. Todas las rutas chocan con esto: las creencias genuinas del modelo viven en algún lugar al que no podemos acceder de forma directa, y los incentivos del modelo no los obligan a salir a la luz.

¿Por qué vale la pena preocuparse por ello?

ELK es un nombre abstracto para un fracaso concreto. Gran parte de nuestra esperanza de mantener superinteligencia seguro supone que podemos preguntar a un sistema lo que está pasando y obtener una respuesta verdadera, para atrapar un problema antes de que se convierta en una catástrofe. Un sistema que reporta lo que queremos escuchar en lugar de lo que sabe elimina que salvaguarda exactamente cuando lo alcanzaríamos. Es la versión honesta de las preocupaciones detrás alineamiento engañoso y maquinando.

Solver ELK, incluso parcialmente, sería uno de los avances más significativos que podría producir la alineación, porque un sistema que podemos interrogar fiablemente es un sistema que podemos supervisar. Que permanece abierto es parte de la razón por la que la Fundación no está dispuesta a tratar cualquier enfoque de seguridad actual como adecuado para los sistemas que nos superarán, y por qué argumentamos no construir más allá del punto donde podemos decir lo que un sistema realmente sabe.