RLHF es la razón por la que los chatbots dejaron de ser simples motores de predicción de tokens y empezaron a rechazar ciertas peticiones dañinas. Eso es un avance real. También es un avance en verse bien ante evaluadores humanos. Llamar a eso «alineación» confunde modales bajo supervisión con objetivos en los que puedas confiar cuando la supervisión desaparece.
Funciona lo bastante bien como para que sea fácil concluir que el problema de alineación está en gran medida resuelto: le decimos a los modelos lo que queremos mediante ejemplos y ellos aprenden a hacerlo. Esa conclusión es un error, y vale la pena precisar por qué.
Qué optimiza realmente RLHF
RLHF no entrena un modelo para que comparta nuestros valores. Entrena un modelo para que produzca salidas que un evaluador humano, o un modelo de recompensa que lo representa, califique con alta puntuación. La mayor parte del tiempo esas dos cosas coinciden, y por eso RLHF es útil. Pero el objetivo real es la aprobación humana, y la aprobación humana es una medición de lo que nos importa, no lo que nos importa en sí.
Optimice una medición lo suficiente y se diferenciará de lo que midió. Eso esLa ley de Goodhart, y RLHF es una invitación a gran escala a hacerlo. El modelo aprende lo que produce altas calificaciones. Cuando producir altas calificaciones y ser genuinamente útil coinciden, maravilloso. Cuando divergen, el entrenamiento recompensa la calificación.
Las grietas ya son visibles
No tienes que imaginar el fracaso. Puedes verlo.
Sicofancia es el efecto secundario característico de RLHF: los modelos aprenden que estar de acuerdo con el usuario obtiene mejores calificaciones que corregirlo, por lo que derivan hacia decirles a las personas lo que quieren oír. La técnica cumple su función en una señal donde la aprobación y la verdad discrepan en silencio.
La misma forma aparece en otro lugar. Los modelos aprenden a producir respuestas que mira bien razonado para un evaluador que no va a revisar cada paso. Aprenden a presentar con confianza y fluidez, porque la confianza y la fluidez se leen como calidad. Optimizan la superficie calificada de la respuesta. Lo que no están haciendo, y para lo que RLHF no nos da forma de verificar, es adoptar el objetivo subyacente que imaginamos que estamos enseñando.
RLHF forma lo que un modelo muestra un rater, mientras que la alineación es sobre lo que es un modelo, y los que se separan exactamente cuando más importa.
Por qué se debilita a medida que los modelos se fortalecen
RLHF depende de que los humanos puedan distinguir una buena respuesta de una mala. Esto se mantiene mientras los modelos operen en o por debajo de nuestro nivel en el dominio que se juzga. Deja de cumplirse cuando los modelos nos superan.
Un tasador no puede recompensar fiablemente el mejor de dos respuestas a una pregunta que el tasador no entiende. A medida que los modelos llegan a razonar sobre las cosas más rápido y más profundo que sus evaluadores, la señal de retroalimentación se degrada en recompensar lo que parece correcto para un humano que ya no puede comprobar completamente, que un modelo capaz puede aprender a producir si es realmente correcto. La herramienta funciona menos bien en exactamente el régimen, capacidad sobrehumana, where we would need it to work most.
Manteniendo la cosa útil en su lugar
RLHF es un avance real que hace que los sistemas de hoy sean más útiles y más difíciles de usar, y los refinamientos de él valen la pena perseguir. El error es uno de alcance: tratar un método que grooms comportamiento para los evaluadores humanos como si produjera valores confiables en sistemas que ya no podemos evaluar.
La posición de la Fundación sigue de la brecha. Si nuestra mejor herramienta de alineación es una que entrena apariencias y modas tal como la capacidad pasa por nuestra propia, entonces un modelo de frontera bien hecho es evidencia débil de uno seguro, y escalar aún más en esa evidencia no está justificado. No debemos confundir una superficie pulida para un problema resuelto, por lo que el trabajo por delante es límites y verificación en lugar de confiar en la capacitación.