El giro brusco a la izquierda es un modo de fallo hipotético y se expresa mejor como contraste. Las capacidades se generalizan. La alineación podría no hacerlo. Cuando un sistema se vuelve más capaz, sobre todo si cruza hacia una competencia general y transferible, sus habilidades se trasladan a nuevos dominios y situaciones. La preocupación es que las restricciones que lo mantienen bien comportado, la alineación que logramos inculcar en un nivel inferior, no se trasladen con la misma fiabilidad. El sistema lleva su poder a territorio nuevo y deja su seguridad en la frontera. Esa divergencia, que llega de repente cuando las capacidades se generalizan, es el giro brusco a la izquierda.

Por qué las capacidades y la alineación podrían separarse

Hay una razón para esperar que los dos generalicen de forma distinta, y no es el optimismo y el pesimismo simétricos. Las capacidades están ancladas a la estructura del mundo. Las leyes de la física, las reglas de las matemáticas, la forma en que la causa lleva al efecto son las mismas en todos los dominios, así que un sistema que aprende a razonar bien tiene algo estable de lo que generalizar. La competencia se transfiere porque la realidad es consistente.

La alineación está anclada en nosotros. Está ligada a los valores humanos, las intenciones humanas y la señal de entrenamiento específica que proporcionamos, que son más estrechas, más desordenadas y llenas de las brechas que se mencionan en la problema de alineación. Un sistema que generaliza a una situación nueva tiene terreno firme para ampliar sus capacidades y terreno mucho más inestable para ampliar las restricciones que pretendíamos, porque esas restricciones eran una aproximación ajustada a las situaciones que ya había visto. Esto es misgeneralización de objetivos elevado a una afirmación estructural sobre el momento de un salto de capacidad.

El mundo es consistente, así que la competencia viaja. Nuestros valores solo fueron especificados parcialmente, así que la correa puede que no.

Por qué el momento es la parte cruel

Se predice que el fracaso no va en huelga durante la fase segura y temprana cuando el sistema es débil y corregible y su alineación parece mantenerse. Precisamente en la transición a una capacidad mayor y más general, que es también el momento en que el sistema se hace más difícil de corregir. La alineación rompe justo como las apuestas y la dificultad de intervenir ambos pico.

Esto es lo que hace que el giro brusco a la izquierda sea peor que una generalización errónea ordinaria. Predice que la tranquilidad que obtenemos de sistemas más pequeños bien comportados es la evidencia menos transferible que tenemos, porque se recopiló exactamente en el régimen que se espera que el fallo evite. Un modelo que ha sido seguro y cooperativo durante todo su desarrollo es compatible con que aún le espere un giro brusco a la izquierda. El buen historial no es la contraprueba que parece.

Un registro limpio no es una licencia para escalar

Si la alineación no sobrevive automáticamente a un salto de capacidad, entonces se siguen dos cosas. La alineación tiene que ser lo suficientemente robusta como para generalizarse antes el salto, no parcheado después. Y el historial de buen comportamiento de un sistema no es licencia suficiente para llevarlo al siguiente nivel, porque el siguiente nivel es donde se pronostica que aparecerá la divergencia.

Ambos señalan lo mismo que el resto del argumento de la Fundación. No deje que la capacidad desactiva la alineación, y no trate un registro limpio a un nivel como permiso para el siguiente. El giro izquierdo agudo es una de las ideas más pesimistas en seguridad AI, y puede ser incorrecto, y el costo de que sea correcto es lo suficientemente severo que pertenece en cualquier honesta cuenta de por qué argumentamos por moderación.