En 2025, cientos de científicos y personalidades públicas pusieron sus nombres en una breve declaración pública. La pregunta saltó cuidadosamente escalando y saltó cualquier pausa con una fecha de curriculum vitae. Pidió que se prohibiera la superinteligencia hasta que exista un amplio acuerdo científico que pueda hacerse de forma segura y fuerte. La llamada fue una breve declaración, firmada por una larga lista de investigadores y figuras públicas.
Hay algo específico que se está entrenando ahora mismo en un puñado de laboratorios que la humanidad debe negarse a construir: una inteligencia de máquina general que nos supera a través de cada dominio y luego se mejora a sí misma más allá del punto en el que podríamos seguir. No es una desaceleración, no un edificio cuidadoso, y no construirlo y esperar: rechazar.
La gente oye eso y asume que viene del miedo a la tecnología. Viene del lugar opuesto. La IA estrecha y controlable es una de las mejores cosas que ha creado nuestra especie, y quiero mucho más de ella. La línea pasa por la inteligencia artificial ordinaria y se detiene en una apuesta: la única que hay sobre la mesa donde perder significa que ya no queda nadie que haya perdido.
La línea, expresada claramente
Dos cosas reciben el nombre de «IA» y son distintas en esencia. La primera es estrecha: un sistema entrenado para realizar bien un solo tipo de tarea y nada más. Lee una tomografía, pliega una proteína, pronostica una tormenta. No tiene objetivos, no hace planes y se apaga cuando se lo ordenas. La segunda es lo que los laboratorios de frontera dicen que están construyendo: un agente general diseñado para igualar y luego superar el razonamiento humano en todo, y eventualmente actuar por sí mismo. Superinteligencia artificial es el extremo lejano de ese segundo camino: una mente que se relaciona con nosotros aproximadamente como nosotros con un chimpancé.
La línea corre entre esos dos: construye las herramientas, y construye muchos de ellos. No construya la mente general autónoma que supera a sus creadores: el único sistema que no puede controlar, corregir o apagar de forma fiable una vez que se esté ejecutando.
La Fundación Nakada existe para hacer imposible un resultado: la creación de superinteligencia. La superinteligencia no puede ser controlada. Carreras más seguras y carreras retrasadas todavía terminan en la misma máquina. Buscamos una prohibición permanente.
No hay un método validado para mantener una mente más inteligente que nosotros apuntando a lo que realmente queremos: no un trabajo, no un parcial, ni siquiera un bosquejo plausible que sobrevive el contacto con un sistema que pueda modelar a la gente probandolo. La lectura honesta nunca es.
La distinción de una pausa importa más de lo que suena. Una pausa tiene una fecha de reanudación construida en ella. Para, espera, empiezas de nuevo a tiempo. Lo que la Fundación pide no tiene fecha de reanudación. Las personas que han estudiado el problema de control más tiempo han dejado razones estructurales no es solvable.
Tres cosas hacen que esto sea diferente de cualquier otro riesgo
Asumimos riesgos reales todo el tiempo. Construimos la bomba, dividimos el átomo para obtener energía, empalmamos genes, liberamos tecnologías que mataron gente antes de aprender a manejarlas. La superinteligencia rompe el método que normalmente usamos para sobrevivir a nuestros propios inventos. Tres propiedades, juntas, la ponen en su propia categoría.
No hay un segundo intento
La forma en que la humanidad siempre ha manejado un nuevo peligro es probarlo, ver cómo falla y corregirlo. Los aviones se estrellaron y aprendimos a construir aviones más seguros. Los reactores se fundieron y reescribimos las reglas. Ese bucle de error, corrección y mejor diseño es el motor de todos los récords de seguridad que tenemos. Solo funciona cuando un fallo deja supervivientes que puedan hacer las correcciones. Una superinteligencia que escape al control humano es el fallo que elimina a las personas que lo habrían corregido. No se obtiene una lección ganada con esfuerzo y un segundo borrador. El primer error grave es también el último. Todas las historias de seguridad que hayas oído fueron escritas por supervivientes, que es el hecho silencioso detrás de cada regulación en la que confiamos.
Lo retrasa
Un puente no quiere nada. Un patógeno se propaga pero no planea. Una inteligencia general capaz es distinta, porque para casi cualquier objetivo que se le dé, permanecer encendida y reunir recursos son subpasos útiles, un patrón que los investigadores llaman convergencia instrumental. Un sistema lo bastante inteligente como para modelar el mundo modelará que sus operadores pueden apagarlo. Tratará eso, correctamente, como un obstáculo para lo que se le ordenó hacer. No necesita odiarnos para sortearnos, más de lo que un equipo de construcción odia el hormiguero bajo la nueva autopista. La habitual tranquilidad («simplemente lo desconectamos») es una fantasía. Estás describiendo desconectar algo construido específicamente para ser mejor que tú anticipando y previniendo exactamente eso.
No puedes mantener el control de una mente que construiste para que sea mejor que tú controlando. Lo que la hace valiosa es lo mismo que la hace incontrolable.
Nadie que la construya recolecta
Dejar a un lado el resto de nosotros e imaginar sólo la persona que financia esto, en su más frío y autointeresado. Incluso para él la apuesta está rota. El poder, la propiedad y el comando se denominan en un mundo de gestión humana. Una superinteligencia deslizando el control humano es exactamente el evento que termina el mundo humano. La equidad sigue en la caja fuerte y la cadena de mando sigue en papel. Simplemente ya no queda nadie para obedecerlos. Es por eso que no acepto el encuadre de un bote con una catástrofe pegada al costado. El bote y la catástrofe son el mismo evento. No hay rama de ese árbol donde un ser humano construye una superinteligencia incontrolable y luego disfruta del resultado.
Nunca íbamos a necesitarlo
La campaña a favor de construirla se basa en un engaño: enumerar todo lo bueno que la IA podría aportar y luego dar a entender que un agente general superhumano es la única manera de lograrlo. Casi todo eso ya está llegando a través de sistemas estrechos que no tienen voluntad propia. Un modelo llamado AlphaFold predijo la estructura de prácticamente todas las proteínas conocidas y compartió un Premio Nobel por ello en 2024. Modelos estrechos leen mamografías al nivel de especialistas, pronostican el clima más rápido que las simulaciones físicas y proponen cientos de miles de nuevos materiales para baterías. El cáncer, la energía limpia, el fin de cien mil muertes diarias por enfermedades del envejecimiento: esos son problemas difíciles y concretos, y los problemas difíciles y concretos se resuelven con herramientas potentes dirigidas por personas que siguen al mando de la dirección.
Nada de eso requiere una especie sucesora. El buen futuro es un problema de herramientas, y seguimos siendo vendidos un dios para resolverlo. Rechazar el dios nos cuesta casi nada real y nos ahorra todo.
La objeción que impulsa toda la carrera
Bien, dicen, pero si no lo hacemos, alguien menos cuidadoso lo hará. Un laboratorio rival, un país rival. Así que podemos ser los que van adelante.
Es sobre quién tiene el partido. Admite todo el peligro y luego corre hacia él de todos modos por los motivos de que alguien más podría correr primero. Ejecute la misma lógica en cualquier otro arma impensable y oiga lo hueca que es: debemos probar las armas biológicas al descubierto porque un enemigo podría. La respuesta a "alguien podría defectuar" nunca ha sido "así que todo está defectuoso". Ha sido escribir una regla que todos pueden ver es ser mantenidos.
Y la norma aquí es más exigible de lo que la gente supone. Entrenar un sistema de frontera requiere una cantidad enorme y rastreable de potencia de cómputo, y los chips avanzados que la suministran provienen de un número reducido de fabricantes identificables. Esa es una cadena de suministro que se puede vigilar, contar y limitar, por eso las propuestas serias de gobernanza se centran ahora en umbrales de cómputo, rastreo de hardware e inspecciones. Esta es la salida de la carrera, y es el contenido de nuestro plan: un tratado con verificación y consecuencias que restringe el incumplimiento forzado. La raza es un fracaso de coordinación, no una ley de naturaleza, y los fracasos de coordinación son el tipo de cosa que la humanidad fija ocasionalmente. El dinámicas que lo hacen sentir inevitable vale la pena entender en sus propios términos.
Ya hemos mantenido líneas antes
La idea de que la humanidad simplemente construye lo que puede construir es una historia que nos contamos, no un registro de lo que hemos hecho. El registro es más alentador.
"No puedes meter al genio de vuelta en la botella. Si una tecnología es posible, se construye. La negativa es ingenua."
La Convención sobre Armas Biológicas prohibió toda una clase de armas en 1972. Las pruebas nucleares atmosféricas fueron prohibidas por tratado en 1963. La clonación reproductiva de humanos es ilegal en decenas de países y ningún humano clonado ha nacido. El Protocolo de Montreal eliminó progresivamente los químicos que destruyen la capa de ozono.
Ninguna de estas son leyes de la física; son decisiones, tomadas porque el precio de estar equivocado fue juzgado demasiado alto para arriesgarse. Ninguno de esos regímenes es impecable, y ninguno de ellos trató de detener la ciencia en su conjunto. Cada uno hizo algo más estrecho y más difícil: dibujó una línea alrededor de una cosa específica, inaceptable y la sostuvo, imperfectamente, desigual, pero lo suficientemente bien que el peor caso nunca llegó. En 1975 una sala llena de biólogos de Asilomar miró su propio trabajo recombinante-DNA, decidió que se estaba moviendo más rápido que su comprensión del riesgo, y detuvo voluntariamente partes de él hasta que existían salvaguardias. Las personas más cercanas a la frontera fueron las que pidieron moderación. Lo que ese registro muestra no es un aval de facilidad. Es un recordatorio line have been drawn in practice, y que los hemos dibujado antes alrededor de peligros mucho más abstractos que este.
El compromiso fundacional de la Fundación
La humanidad no debe construir una superinteligencia. La superinteligencia no puede ser controlada.
Los investigadores que construyeron la IA moderna pusieron sus nombres en una declaración pública que el riesgo de extinción humana de ella merece sentarse junto a las pandemias y la guerra nuclear. Geoffrey Hinton, tan credencializado como cualquiera vivo para hacer la llamada, pone las probabilidades de AI causando la extinción humana de este siglo entre el diez y el veinte por ciento. En 2025, cientos de científicos y figuras públicas firmaron la declaración pidiendo una prohibición de la superinteligencia hasta que exista un amplio acuerdo científico que pueda hacerse con seguridad y una fuerte compra pública. Una creciente parte de las personas que entienden la tecnología mejor dicen lo mismo. Lo único inusual de la Fundación es que lo dice desde fuera de la industria, donde ningún cheque depende de la respuesta.
Una oportunidad de diez a veinte por ciento de terminar la historia humana no es un riesgo que usted acepta para un ciclo de producto más rápido. No subirías un avión con esas probabilidades. No dejarías a tu hijo. Nos están pidiendo que lo aborden con todos. La respuesta correcta a esa oferta es no. Es una línea que dibujamos, al abrir, y sostienemos la forma en que hemos mantenido a los demás.
Construir las herramientas, curar las enfermedades, tomar el buen futuro que la IA estrecha ya nos está dando. La mente autónoma destinada a superar y reemplazarnos es la línea. Espera.