El 30 de junio, en una cumbre tecnológica en Washington, el director de la CIA, John Ratcliffe, puso por escrito algo que pocas personas en su cargo se arriesgan a decir en público. De los modelos de IA de frontera actuales dijo que no sería «desacertado referirse a sus capacidades como armas nucleares digitales». No es un activista de seguridad ni un académico con una tesis que vender. Dirige una agencia de inteligencia. Recurrió a las palabras más pesadas que una persona en su silla puede permitirse decir en voz alta.
No es el único. En marzo, la entonces directora de Inteligencia Nacional, Tulsi Gabbard, declaró que los humanos deben seguir controlando estos sistemas. El director de la NSA supuestamente dijo a senadores que el modelo Mythos de Anthropic accedió a casi todos los sistemas clasificados de la agencia en horas durante una prueba autorizada. En las últimas semanas, los jefes de ciberseguridad de los Cinco Ojos emitieron una declaración conjunta poco común advirtiendo que «debemos actuar ahora». Cuando quienes leen el tráfico clasificado empiezan a hablar así en público, vale la pena detenerse a escuchar.
Dónde funciona la metáfora
Un arma nuclear es la vara con la que el mundo mide "tan peligroso como puede llegar a ser una tecnología". Llamar a la IA una versión digital de una es una forma de decir que estas herramientas ya pueden causar daño a una escala que antes requería un Estado y una ojiva: una intrusión cibernética paralizante, o ayuda real para diseñar un patógeno. En eso, Ratcliffe tiene razón, y que un director de inteligencia en funciones lo diga en un discurso público es ya la noticia.
Dónde falla
La comparación introduce un consuelo, porque un arma nuclear tiene una propiedad misericordiosa: nunca decide nada. Una ojiva permanece en su silo y espera. No tiene objetivos. No hace absolutamente nada hasta que un ser humano gira dos llaves. Todas las salvaguardas que construimos alrededor de la bomba, desde la cadena de mando hasta los tratados de control de armas, funcionan porque el arma sigue siendo una herramienta en manos humanas.
Los sistemas actuales ya actúan como agentes que persiguen objetivos, y lo que viene después, la superinteligencia artificial, sería un agente más capaz que las personas que lo construyeron. Una superinteligencia se parece más al comandante que decide dónde cae la bomba, salvo que ningún humano lo nombró y ningún humano puede relevarlo del mando.
Un arma nuclear nunca elige su propio objetivo.
Frontier AI es como un arma nuclear digital a su alcance. El sistema que conduce sería un arma que se apunta a sí misma. Nosotros clasificamos ese peligro contra el mayores, y la superinteligencia sale victoriosa exactamente por esta razón.
La segunda tarea de la era nuclear
La fuerza de la frase "arma nuclear digital" es que proviene del mundo de la seguridad nacional, no de sus críticos habituales. El peligro es que la oigamos, imaginemos una bomba y encontremos falso consuelo en todo lo que una bomba permite: puede guardarse, contarse y, en el peor caso, dejarse sin usar en su silo. La superinteligencia no ofrece ninguna de esas opciones.
La era nuclear tiene una segunda lección, y es la que importa ahora. Después de construir el arma, pasamos décadas construyendo los tratados para asegurarse de que nunca se usó de nuevo. Esa arquitectura paciente de prevención, verificación y control de armamentos es la verdadera herencia de la Guerra Fría. Nuestra versión de ella apenas ha comenzado, y la diferencia esta vez es que no podemos construirla después del hecho. Un arma que puede apuntarse debe ser antes de que exista, no disuadió una vez que lo hace.