¿Qué obtiene el ganador de una carrera por la superinteligencia? En las salas llenas de gente que construye IA, la conversación pasa por encima. Alguien lo construirá de todos modos, así que mejor que seamos nosotros. El riesgo, los plazos, cómo controlar un sistema más inteligente que sus creadores: todo se despacha con charla de ascensor. No podemos parar. Hay una carrera.
Casi nadie discute la carrera. Tratado como un hecho de la naturaleza, cada opción imprudente abajo comienza a parecer responsable. El tiempo es el modelo equivocado para una elección que un puñado de empresas están haciendo a propósito.
Para qué sirve una carrera
Una carrera es un concurso con un premio al final, y el premio es la razón para correr. La carrera espacial de los años sesenta entregó una bandera en la Luna y el prestigio que conllevaba. Una carrera armamentista nuclear entrega un arma: el Estado que construye la bomba posee la bomba, la apunta y decide si alguna vez se usa. En cada caso el ganador termina con algo en sus manos, una capacidad que posee y controla.
Ahora pregúntate qué posee el ganador al final de la carrera hacia la superinteligencia. Toda la premisa del peligro es que un sistema significativamente más inteligente que nosotros no sería una herramienta en manos de nadie. Una superinteligencia artificial es un agente que persigue objetivos. Si esos objetivos se apartan aunque sea ligeramente de los nuestros (el problema que no han resuelto), las persigue tanto si sus creadores lo aprueban como si no. El laboratorio que "gana" no llega a poseer una superinteligencia. Llega a compartir un planeta con una que no puede controlar.
Una carrera solo vale la pena ganarla si la meta es un premio. Aquí la meta es un sistema que nadie ha demostrado poder controlar. Llegar primero no significa tener el poder. Significa ser el primero en rendirle cuentas.
Una línea de meta que nadie puede controlar no es un premio. Llegar primero es perder un paso por delante de todos los demás.
La brecha de la que sigues oyendo hablar
Si se quita la teoría, la narrativa de la carrera descansa en una afirmación concreta: China está cerca, China no se detendrá y por tanto nosotros tampoco podemos. Esa afirmación cierra todas las reuniones y se repite mucho más de lo que se examina.
Empieza con la parte fáctica. Hay una verdadera competencia entre los laboratorios estadounidenses y chinos, y hay un verdadero concurso industrial sobre fichas y computación. Los controles de exportación estadounidenses sobre los chips de IA más avanzados existen precisamente porque ese concurso es real. El política de esos controles y donde la cooperación realmente ha ocurrido importa más que la historia de la raza.
Lo que los acceleracionistas contrabandean en: "China construirá una superinteligencia incontrolable sin importar lo que hagamos" no describe nada que China haya dicho o hecho. Es una predicción, y una conveniente, porque autoriza al altavoz a hacer lo que ya quería hacer. China firmó la Declaración de Bletchley sobre el riesgo AI en 2023. Ha publicado sus propias propuestas de gobernanza. Su gobierno se ha sentado con los Estados Unidos para hablar directamente sobre AI. Un país corriendo hacia un sistema que podría matar a su propio liderazgo es algo extraño para simplemente asumir, sin evidencia de que sus líderes quieren ese resultado más que el nuestro. "They'll do it anyway" es una historia sobre nuestro propio permiso, no sus intenciones.
si una superinteligencia desalineada es una catástrofe para quien la construya, entonces China tiene exactamente la misma razón que nosotros para no construir una. Tampoco hay premio para un rival.
La carrera selecciona a los menos cuidadosos
Concedamos, por el bien del argumento, que la competencia es tan feroz como dicen los corredores. Sigamos la lógica hasta donde lleve. En una carrera, gana quien se mueve más rápido, y la forma de moverse más rápido en la frontera de la IA es dedicar menos tiempo a lo que te frena: evaluaciones, red-teaming, supervisión, el trabajo paciente de verificar si el sistema hace lo que crees que hace.
La estructura de una victoria de las manos de la raza a quien corte las esquinas más en seguridad. El ganador es el laboratorio menos cauteloso, no el más capaz. "Tenemos que ganar la carrera" y "tenemos que construir esto de forma segura" tire en direcciones opuestas, y cuanto más difícil sea la carrera, más difícil será. La competencia no disciplina el peligro. Lo fabrica. Un mundo de laboratorios que corren por ser el primero es un mundo optimizando, con gran energía y enorme capital, por lo exacto que hace matar a todos.
Incluso dentro de la propia lógica de la carrera, «debemos ganar» se vuelve en contra de sí misma. Si ganar exige recortar las esquinas que mantienen controlable a una superinteligencia, entonces ganar es la forma de perder.
Quién se beneficia de la historia
Si el marco de la carrera es tan débil, ¿por qué está en todas partes? Porque es útil, solo que no para el resto de nosotros.
Para un laboratorio fronterizo, "hay una carrera y debemos ganarla" está cerca de la perfección. Le dice a los inversores que el gasto es un acaparamiento de tierra para algo enorme. Le dice a los reguladores que las reglas solo entregarán el futuro a los peores actores. Y la parte silenciosa: permite que los propios ingenieros de seguridad del laboratorio crean que las carreras son la elección responsable, porque la alternativa está dejando la victoria imprudente. Convierte una decisión (para seguir construyendo algo que aún no puedes controlar) en una necesidad que no deja a nadie fuera del gancho, menos de toda la gente que lo hace.
Nombra el truco de manos. Una carrera suena como una condición impuesta a los laboratorios desde fuera. Es una elección, hecha por un pequeño número de empresas y los gobiernos que podrían frenarlas, de seguir adelante. Elon Musk ha llamado al demonio a la IA y luego construyeron un laboratorio para invocarlo más rápido, lo que te dice que la «carrera» es una estrategia que alguien eligió, no una ley de la física que todos obedecen. Las estrategias pueden abandonarse cuando dejan de tener sentido. Esta dejó de tenerlo en el momento en que el premio resultó ser un sistema que nadie puede controlar.
La opción que nunca está sobre la mesa
El encuadre de la raza elimina silenciosamente una puerta de la vista. Presenta dos: raza, o unilateralmente de pie y deja que los imprudentes heredan el futuro. De esa manera, sólo un tonto elige la segunda puerta, y el argumento gana al salir de la tercera.
La tercera puerta es la que han usado antes los adversarios genuinos. Estados Unidos y la Unión Soviética eran adversarios en todos los sentidos, apuntando armas capaces de acabar con el mundo a las ciudades del otro. Aun así firmaron y verificaron acuerdos de control de armas, porque ambos bandos podían ver que una carrera sin límites los dejaba peor que una norma que los obligara por igual. La desconfianza fue la razón del acuerdo, no el obstáculo para alcanzarlo.
La superinteligencia tiene la característica que hace que tal acuerdo sea racional: ningún poder importante se beneficia de un sistema que nadie puede controlar, por lo que ningún poder importante tiene un interés real en ser el que lo construye primero. Ese interés compartido es el motivo en que se basa un tratado: una suspensión vinculante y verificable del desarrollo de la superinteligencia. Superinteligencia no se puede controlar. Una negativa permanente de superinteligencia como categoría de producto. Hemos esbozado cómo podría verse ese instrumento, desde unatratado modelo al plan más amplio pertenece a. La verificación es difícil. También era difícil para las armas nucleares, y se construyó de todos modos, porque la alternativa era inaceptable para todos en la mesa.
"Carrera o rendición" es una elección falsa. El encuadre depende de que nunca notes la puerta que dejó fuera.
Rechazar la carrera
Un puñado de laboratorios están optando por construir una tecnología que admitan abiertamente que no saben controlar, y lo justifican señalando a un rival que, supuestamente, está haciendo la misma opción imprudente por la misma mala razón. La imprudencia de cada lado se ofrece como excusa para el otro.
Nada de esto exige creer que la competencia es imaginaria o que la geopolítica es suave. Solo hace falta notar que una carrera sin premio al final no es una carrera por la que valga la pena arriesgar la especie, y que quienes te dicen que es inevitable son, casi siempre, los que se benefician de ella. La carrera es un relato. Uno bueno y muy conveniente para toda una industria. Un relato es exactamente el tipo de cosa que uno puede dejar de creer.