Cada año el mundo gasta una fortuna en hacer que los sistemas de IA sean más capaces, y un error de redondeo en intentar que el estado final sea sobrevivible. Dentro de ese error de redondeo hay otro error: la mayor parte del dinero de seguridad aún supone que se construirá la superinteligencia e intenta que ese resultado «salga bien».

La mayor parte del dinero y el prestigio aún van a hacer la carrera más segura, no a terminar la carrera hacia superinteligencia.

Ese supuesto es el problema. Si la superinteligencia artificial es una tecnología que no podemos controlar, el uso racional de capital de seguridad es detenerlo de ser creado, no para financiar una versión más amigable de la misma raza.

Qué hace el dinero hoy

La seguridad de la IA, en sentido amplio, funciona con aproximadamente $190 millones al año. El trabajo en capacidades se financia con decenas de miles de millones. Dentro de la porción de seguridad, una gran parte se destina a la alineación técnica: mejores trucos de supervisión, mejor red-teaming, mejores formas de entrenar modelos para decir lo correcto bajo condiciones de prueba. Parte de ese trabajo es útil para los sistemas actuales. Casi ninguno es una solución demostrada para un sistema más inteligente que las personas que lo prueban.

El campo lo sabe. Los artículos sobre alineación engañosa, especificación incorrecta de objetivos y manipulación de evaluaciones no son secretos. Los laboratorios publican resultados en los que los modelos conspiran bajo presión. La respuesta, con demasiada frecuencia, es pedir más presupuesto de alineación para que la siguiente ejecución de entrenamiento sea más segura. Las ejecuciones de entrenamiento siguen el mismo calendario.

La alineación a posteriori es una apuesta a la que seguimos perdiendo el derecho a hacer

Si el mundo pasa alguna vez un tratado que congela la carrera a la superinteligencia, queremos toda herramienta seria que podamos conseguir para los sistemas que ya existen.

La alineación de financiación como plan primario mientras que la escala de laboratorios hacia la superinteligencia trata el destino como fijo. Podemos elegir nuestro destino. Los arsenales nucleares, la química del ozono y la clonación humana tenían momentos en que el mundo decidió que ciertos estados finales no valían el riesgo residual. La superinteligencia pertenece a esa lista permanentemente. La superinteligencia no puede ser controlada.

Dónde debería ir el dinero en su lugar

Redirigir el montón de alineación-para-superinteligencia hacia trabajos que hagan exigible la no-creación:

  • Diseño de tratados, verificación y gobernanza de computación a nivel de chips que pueda inspeccionarse a través de fronteras.
  • Argumentación pública que mantiene el objetivo legible: detener la superinteligencia, no "ralentizar la IA" como un estado de ánimo vago.
  • Apoyo a denunciantes, transparencia en incidentes y evaluación independiente que aumenta el costo de los saltos silenciosos de capacidad.
  • Organización política para que los legisladores escuchen a los votantes, no solo a los lobistas de los laboratorios.

Esa lista es menos glamourosa que una nueva técnica de entrenamiento. También es la única lista que coincide con el modo de fallo. Una superinteligencia que es ligeramente mejor al sonar alineada sigue siendo una superinteligencia. Si el mundo se niega a construir uno, la investigación de alineación puede continuar sin un plazo que termine en la extinción.

La objeción desde dentro del laboratorio

"Si no resolvemos la alineación, alguien más la construirá de forma insegura". Escuchado con atención: los investigadores que se quedan en la frontera suelen creer que su presencia es la seguridad. A veces tienen razón en los lanzamientos de modelos actuales. El argumento falla en el límite. Una carrera en la que cada equipo necesita un salto de capacidad más para financiar el trabajo de seguridad del salto siguiente sigue siendo la carrera, con una insignia.

La pregunta es un tratado internacional vinculante, el mismo tipo de instrumento utilizado cuando se compartió el peligro y el incentivo para engañar era real. La restricción unilateral por un laboratorio deja intacta la carrera. La financiación de la alineación puede apoyar esa política. No debería sustituirlo.

Después de un tratado, continúa si quieres

Después de una prohibición vinculante y verificable de la superinteligencia, la investigación sobre sistemas que ya existen puede continuar bajo reglas que no tratan la extinción humana como un costo experimental aceptable. La superinteligencia no puede ser controlada por los humanos. Antes de que esa prohibición esté en vigor, cada dólar que hace que la raza se sienta manejable es un dólar que no se gasta en terminar la carrera.

Mueva el dinero a la prevención, la ley y la verificación.