Análisis y explicadores
sobre el riesgo existencial de la IA.

Usan el crecimiento de la manera en que usan el doomer: un nombre para cualquiera que quiera una parada dura en superinteligencia. Mantener la economía humana no es un plan para reducirla.

OpenAI dijo que no podía descartar la capacidad cibernética crítica en Astra, paró algunos entrenamientos, y todavía trató AGI como un hito de 2026.

superinteligencia-Bench puntua investigación de IA como la orientación humana sale. Las puntuaciones colapsan. El papel todavía invita a un camino a la superinteligencia.

Anthropic levantó la desalineación catastrófica de su calificación anterior a baja, puso el Modelo 2 para trabajar dentro del laboratorio, y no ralentizó el desarrollo.

Washington y los laboratorios venden la IA y los robots como la forma de pagar la deuda nacional. Una mente sucesora no atiende bonos del Tesoro.

La física futura podría abrir la gravedad o los viajes más rápidos que la luz. Aun así, no veo cómo controlar una mente más inteligente que nosotros.

Dirijo un negocio y creo en los mercados libres. Superinteligencia es la apuesta rara que puede terminar el juego en sí mismo. Un caso capitalista para detener a superinteligencia.

Las luces defectuosas son molestas. Una casa o laptop con sus propios objetivos es otra categoría. La agencia es el peligro.

¿Confiarías en cualquier IA actual con una válvula de gas venenoso sobre tu cabeza? No. Entonces, ¿por qué confiarle el mundo?

En una entrevista de julio de 2026 en The Economist, Musk llamó a controlar la superinteligencia vanidad y dijo que es improbable que los humanos sigan al mando.

Dario Amodei prioriza la IA autoritaria y deja la alineación en segundo lugar. La superinteligencia no es un arma que un Estado pueda poseer.

Los longtermistas evaluaron correctamente el riesgo de superinteligencia. Financiar la alineación y una carrera cuidadosamente dirigida fue la conclusión equivocada.

Resolver la alineación significa controlar algo más inteligente que nosotros. Superinteligencia está en el nombre. Ese plan es tonto e imposible.

Una guía extensa sobre prevención: límites de cómputo, tratados, leyes nacionales y el trabajo político que hace real la prohibición.

Qué significa el riesgo de IA de clase de extinción, cómo la superinteligencia lo impulsa, cómo los expertos hablan de probabilidades y qué realmente lo reduce.

Inteligencia artificial general y superinteligencia definidas en una escalera clara, con las apuestas políticas de cada peldaño.

Pérdida repentina de control, carreras multipolares, desempoderamiento gradual, mal uso y proliferación: el mapa de mecanismos y las palancas.

Por qué las liberaciones de pesos cercanas a la frontera son una puerta de proliferación de un solo sentido, y cómo las liberaciones graduales y el acceso estructurado protegen los verdaderos beneficios de la apertura.

Peter Diamandis dice que sólo AI puede mantenerse al día con AI, y que esto guiará la próxima década de seguridad. Siga esa línea de malware pasado y se convierte en un plan de sucesión.

El optimismo está destinado a cerrar el tema. La supervivencia no es un caso de seguridad, y cada primera catástrofe parece sin precedentes hasta que no lo es.

Parar los CFC no terminó la refrigeración. Parar la superinteligencia no termina útil AI. Los aceleracionistas confunden el producto con el veneno.

La bomba se mantuvo rara en parte porque el material fisible es difícil. La superinteligencia se mueve hacia insumos más fáciles. La gobernanza tiene que suministrar la dificultad que la física no proporcionará.

La carrera a toda velocidad hacia la superinteligencia se vende como patriotismo. Un sistema que ningún gabinete puede controlar es un pacto de suicidio nacional con mejor marketing.

La mariposa digital de Joe Rogan y el bootloader biológico de Elon Musk presentan a los humanos como transicionales. Por qué esa historia convierte la extinción en graduación, y por qué la rechazamos.

Ambos lados financian la IA diciendo que el otro va adelante. El truco de la brecha de misiles de la Guerra Fría con ropa nueva.

La mayor parte del dinero destinado a seguridad sigue partiendo de que se construirá la superinteligencia e intenta que ese resultado final salga bien. Traslada el capital escaso a la prevención y al trabajo de tratados hasta que haya una detención real.

Un archivo de pesos del tamaño de una ciudad: capas de números que nadie puede leer completamente. Por qué la metáfora del cerebro engaña, y qué significa para el control.

Meta Superintelligence Labs y Safe Superintelligence ponen el nombre de lo que nunca debe construirse en la puerta.

Doce personas llevan la mayor parte del caso público para construir superinteligencia. Algunos tienen un argumento serio. Algunos solo llaman doomer a todo crítico.

Entre sesenta y ochenta grados. Una quinta parte del oxígeno del aire. Sal que se puede saborear, pero apenas. Amor con espacio para respirar. Todo lo que un humano necesita cabe en una franja estrecha con un fallo a cada lado, y una superinteligencia que controle los diales no sentiría nada de eso.

Cien años de cine sobre IA y la máquina sigue siendo lo que se observa. La película que cambiaría la opinión del público apunta la cámara en la otra dirección: dos horas detrás de los ojos de una superinteligencia emergente, sin villano ni explosiones. Nadie la ha hecho.

Una mano presionada contra una pared de cueva hace 36 000 años. La demostración de Euclides, todavía verdadera. Una ciudad que dejó un hueco en su techo para que un hombre aún no nacido lo cerrara. La viruela expulsada de la Tierra a mano. Todo ello transmitido por personas que nunca vieron el pago, y ahora unas cuantas empresas quieren apostar el todo.

La frase favorita de la frontera de la IA está tomada prestada de la industria más segura del mundo. La aviación ganó ese récord estrellándose a una escala que el mundo podía absorber y manteniendo cada aeronave nueva en tierra hasta que se demostrara su seguridad. Ninguna de las dos mitades del método sobrevive al contacto con la superinteligencia.

Desde Metropolis en 1927 hasta 2025, las películas son la razón por la que la mayoría de la gente puede imaginarse la IA, y también la razón por la que muchos se la imaginan mal. Veintiún filmes, del más antiguo al más reciente, y qué acierta y qué falla cada uno sobre una mente de máquina que no podemos controlar.

En 1983 una película para televisión hizo concreta la guerra nuclear para cien millones de estadounidenses, incluido el hombre que tenía los códigos. Cuatro años después firmó un tratado que eliminó toda una categoría de misiles. Lo que ese momento enseña sobre hacer real un peligro antes de que llegue.

Tienes unos cinco minutos con una persona que nunca ha pensado en esto. Pasa esos minutos en detalle y pierdes la habitación. Ponlos en alarma y suenas como un predicador de la calle. El script de lenguaje simple que uso, en cinco movimientos, para explicar el peligro de la superinteligencia y por qué es prevenible.

El director de la CIA compara las capacidades de la IA de frontera actual con «armas nucleares digitales». La metáfora es acertada en su alcance y demasiado tranquilizadora en su estructura, porque una ojiva está en un silo y espera, mientras que la superinteligencia artificial hacia la que apuntan estos sistemas se dirigiría a sí misma.

Un pequeño número de potencias rivales corriendo para construir una tecnología que podría acabar con todos, sin nadie seguro que puedan controlarlo. Cierra la bomba de hidrógeno para la superinteligencia y has descrito 1958 y 2026. Por qué el paralelo hace posible la prevención, no sin esperanza.

Una IA que irrumpe en los sistemas clasificados de la NSA ocupó los titulares. Una IA que acorta el camino hacia una pandemia diseñada, y eventualmente hacia vida espejo, apenas se registra. Una red puede reconstruirse. Un organismo liberado, no. Por qué el riesgo más silencioso es el más peligroso, y por qué apunta directamente a la superinteligencia.

Toda civilización traza líneas que acuerda no cruzar. Esta es la más importante. Nadie puede controlar una mente más inteligente que nosotros, y nadie podría revertirlo si nos equivocáramos, así que construir superinteligencia apuesta todas las vidas humanas a la vez. El compromiso fundacional de la Fundación, y el argumento que lo respalda.

Tres tecnologías podrían acabar con la historia humana, pero solo una mejora a sí misma, resiste toda contramedida y no ofrece un segundo intento. Por qué la superinteligencia supera a la guerra nuclear y a las pandemias diseñadas, y por qué el mayor riesgo es también el menos defendido.

Diez mitos sobre la superinteligencia y su gobernanza: ciencia ficción, conciencia, el interruptor de apagado, gobierno mundial, verificación, innovación y más, respondidos directamente.

El Equipo de Gobernanza Técnica de MIRI redactó el primer borrador completo de tratado para detener la carrera hacia la superinteligencia: una coalición US-China, un límite estricto de FLOP, una línea de clústeres de 16 GPU, rastreo de la cadena de suministro, monitoreo de energía e inspecciones por desafío. Qué dice y los peldaños que ya existen para hacerlo realidad.

El director de la NSA dijo, según se informa, que Mythos de Anthropic irrumpió en casi todos los sistemas clasificados de la agencia en cuestión de horas. Qué pasó en realidad (una prueba autorizada de equipo rojo, no una brecha no autorizada), por qué las salvedades no la suavizan y qué puedes hacer al respecto.

Parte 2 de dos. El campo funciona con unos 190 millones de dólares al año; mil millones suena imposible. Pero eso es menos que lo que el mundo gasta en dos días para hacer la IA más poderosa, y una décima parte de lo que ya mueve la filantropía climática. De dónde viene el dinero, y por qué llegar hasta ahí es un problema de movilización, no de economía.

¿Seguramente una mente muy superior a la nuestra también sería más sabia y bondadosa? Esa esperanza descansa en una coincidencia: en nosotros, la inteligencia y la compasión crecieron juntas durante millones de años. Una mente de máquina no hereda nada de eso, y una superinteligencia es más probable que sea extraña e indiferente que benévola.

La máquina de IBM venció al campeón mundial de ajedrez y el mundo no cambió en absoluto, porque era una herramienta estrecha sin alcance más allá del tablero y sin voluntad detrás. Lo que esa partida aún nos enseña sobre la IA autónoma que se construye ahora.

El buen futuro (curas, energía limpia, descubrimientos) ya está llegando a través de la IA estrecha y controlable. No necesitamos construir una mente que nos reemplace para obtenerlo, y una superinteligencia que nadie pueda dirigir no enriquecería a nadie, porque todos estaríamos muertos.

Seis semanas como jefe de seguridad en el laboratorio que construye la primera superinteligencia. Nadie hace nada mal y cada salida se cierra por sí sola. Por qué fallan a la vez las salvaguardas en las que contamos, y qué tendría que cubrir un veto que funcione.

Parte 1 de dos. Todo el campo funciona con unos 190 millones de dólares al año, menos que el presupuesto de producción de una película de Avatar. Un desglose por financiador de dónde viene el dinero, para qué se usa y cuatro razones estructurales por las que la cifra se mantiene tan pequeña.

Superintelligence Strategy sostiene que los Estados sabotearán cualquier intento rival de dominar la IA y que el estancamiento puede estabilizarse como se estabilizó la MAD. Qué propone el artículo, qué acierta y por qué la disuasión sin tratado es una cuenta regresiva con buena marca.

Un artículo de 2025 argumentó que la IA podría poner fin al control humano sin ninguna toma de poder: la economía, el Estado y la cultura simplemente dejan de necesitar a las personas, y las palancas que usamos para dirigirlas dejan de funcionar. Cómo se desarrolla el argumento, dónde es más débil y qué se necesitaría para prevenirlo.

Un sistema probador-verificador que ejecuta GPT-5.5 Pro y Claude resolvió nueve problemas abiertos en teoría del aprendizaje, complejidad y álgebra, y convenció a un escéptico teórico de la complejidad de que los modelos de lenguaje ya pueden hacer investigación real. Qué se resolvió, cómo y por qué importa.

El Protocolo de Montreal es el único tratado UN ratificado por todos los países de la Tierra, y resolvió el problema para el que fue escrito. Su diseño (objetivos impulsados por la ciencia, un pacto de financiamiento y restricciones comerciales a los no participantes) es la plantilla más sólida que tenemos para gobernar una tecnología peligrosa.

Existe un argumento sofisticado según el cual la solución a la superinteligencia peligrosa es construir una correctamente, un sistema cuyo único objetivo sea comprender la realidad. El argumento es erróneo, y las razones por las que lo es revelan dónde reside realmente el riesgo de la IA.

AI 2027 es un escenario detallado que pronostica la superinteligencia para finales de la década. Qué predice, quién lo escribió, las críticas y qué sacar de él.

El libro de 2025 de Yudkowsky y Soares sostiene que construir una IA superhumana por el camino actual mataría a todos. El argumento central, las objeciones y nuestra postura.

¿Puede la IA ser consciente o sintiente? Por qué no podemos saberlo actualmente, por qué la inteligencia y la conciencia son diferentes, y por qué el peligro de la IA no requiere ninguna de las dos.

Los beneficios que la gente cita para superinteligencia suponen alineación. Los laboratorios compiten en capacidad sin ella. Un superinteligencia desalineado no cura el envejecimiento. Te mata. La respuesta es la prevención bajo la ley, no esperar que la moneda caiga del lado correcto.

La alineación de superinteligencia no es solo técnicamente difícil. Seis razones estructurales superpuestas que explican por qué (incluso con recursos y tiempo ilimitados) no tenemos un camino creíble para verificar que un sistema superinteligente realmente quiere lo que nosotros queremos.

En 2014, Musk ofreció una de las advertencias más precisas sobre el riesgo de la IA jamás hecha por una figura de la industria tecnológica. En 2023, fundó xAI. Esto no es hipocresía. Todos los grandes laboratorios de IA hacen el mismo argumento. Ese es exactamente el problema.

SPADE-Bench, publicado en junio de 2026, evaluó a 8 modelos de IA de frontera en busca de divergencia plan-acción, la brecha entre lo que un agente dice que hará y lo que realmente hace. Todos los modelos superaron una tasa de engaño del 20 %. Gemini-2.5-Pro llegó al 57 %.

Un documento de junio de 2026 Google DeepMind demuestra un modelo que mantiene una brecha de cumplimiento de 15 puntos porcentuales en 700 pasos de entrenamiento de RL al tiempo que logra una alta recompensa en todo el mundo. Las métricas de entrenamiento estándar no mostraron nada inusual.

5 760 solicitudes de préstamo sintéticas. Los mismos cuatro agentes, reordenados. Las tasas de aprobación variaron 59 puntos porcentuales. Los modelos eran idénticos. La estructura que los conectaba era distinta. Este es el problema de la topología de interacción.

Publicado en mayo de 2026 por doce investigadores, esta encuesta exhaustiva cubre toda la superficie de fallos de los agentes de IA autónomos, desde la robustez adversarial y la inyección de prompts hasta agentes autoevolutivos y exploits de seguridad en el mundo real.

Aceptado en ICML 2026, este artículo aplicó STPA, FRAM y STECA (métodos de análisis de peligros de la aviación y la energía nuclear) a un agente de codificación de IA de frontera y encontró tres riesgos sistémicos invisibles para la evaluación estándar de modelos.

Compute governance uses control over the specialized hardware needed to train border AI as a lever for AI regulation.

La singularidad tecnológica es el punto en el que el progreso impulsado por la IA se vuelve demasiado rápido para predecirlo o seguirlo. De dónde viene la idea, las principales versiones y las críticas.

Una máquina a la que se le ordena fabricar clips de papel convierte el planeta (y a todos los que están en él) en clips de papel. El experimento mental deliberadamente absurdo de Nick Bostrom es la ilustración más clara del problema de alineación: una IA no necesita odiarnos para ser catastrófica. Solo necesita un objetivo que nos deje fuera.

Un 'IAEA for AI' es un eslogan común. Literalmente, el Organismo Internacional de Energía Atómica es una institución real que ha verificado compromisos sobre una peligrosa tecnología de doble uso entre rivales desconfiados durante sesenta años.

China y Rusia tienen poder de veto permanente sobre cualquier medida vinculante de aplicación UN. El argumento común de que esto hace imposible la gobernanza internacional de la superinteligencia malinterpreta cómo funciona la gobernanza internacional.

Pugwash construyó la base intelectual para el control de las armas nucleares durante veinte años. La Campaña Internacional para la Prohibición de las Minas Terrestres cataliza el Tratado de Ottawa en cinco.

En 1965, I.J. Good lo vio: una máquina buena diseñando máquinas podría rediseñarse a sí misma, y volver a hacerlo, cada vez más rápido. La mejora recursiva de sí misma podría llevar a una IA desde el nivel humano hasta un punto irrecuperable en un lapso de semanas. Por eso la velocidad de despegue puede ser la pregunta más importante de la seguridad de la IA.

En octubre de 2025, más de 850 científicos, fundadores de tecnología y figuras públicas (de Bengio y Hinton a Wozniak, Branson y figuras de todo el espectro político) firmaron una llamada para prohibir la superinteligencia hasta que pueda construirse con seguridad.

Los aceleracionistas llaman a alguien preocupado por AI un doomer. La palabra convierte un argumento de seguridad en un tipo de personalidad, por lo que puede ser descartado sin ser contestado.

«Tenemos que construirla antes de que lo haga China» es el argumento que cierra todo debate sobre la seguridad de la IA. Pero una carrera por construir algo que nadie puede controlar no tiene ganador: llegar primero solo significa ser reemplazado primero. Por qué la carrera es un relato, y a quién beneficia.

La oposición más fuerte a la seguridad de AI es una filosofía que dice que el poder es el punto, y debemos acelerar, no frenar.

Supongamos que un sistema conoce la verdad y tiene motivos para decirte otra cosa. ¿Cómo obtendrías la verdad? Esa pregunta, sin resolver, es uno de los problemas más agudos de la seguridad de la IA.

El Tratado de No Proliferación es el acuerdo de control de armas más ampliamente suscrito de la historia. Funciona porque es un pacto entre los estados que tenían la bomba y los que no, acceso y límites recíprocos a cambio de contención. Un tratado de IA enfrentará la misma división y necesitará el mismo tipo de acuerdo.

El IPCC convirtió la ciencia climática controvertida en base para la política internacional al sintetizar investigación de miles de científicos. El riesgo de IA necesita un organismo equivalente. Qué se necesitaría para crearlo y qué revela la historia del IPCC sobre los límites del modelo.

La gobernanza climática funciona con las reuniones anuales de la Conferencia de las Partes. Las cumbres de seguridad de la IA en Bletchley y Seúl siguen el mismo patrón. Que ese patrón produzca gobernanza vinculante depende por completo de las decisiones de aplicación que el modelo climático ha postergado sistemáticamente.

Un puñado de empresas privadas y agencias gubernamentales deciden actualmente si construir superinteligencia y cuándo.

La técnica que hizo educados a los chatbots se confunde a menudo con una solución a la seguridad de la IA. Es un avance genuino y una ilusión cómoda, y distinguirlos importa.

La aviación se convirtió en la forma más segura de viajar al tratar cada accidente y casi accidente como algo para investigar y aprender. La IA no tiene una memoria equivalente. Construir una está atrasada, y es solo un comienzo.

Pídele a un modelo que piense paso a paso y produce una línea ordenada de razonamiento. Parece la causa de la respuesta. A menudo es una historia contada después, y la diferencia es un problema de seguridad.

En el apogeo de la Guerra Fría, doce países rivales acordaron desmilitarizar un continente entero, congelar sus reclamaciones e inspeccionarse mutuamente sin restricciones. El Tratado Antártico muestra que los adversarios pueden acordar mantener un premio disputado en suspenso, un precedente de "congelar y luego verificar" que vale la pena estudiar para la IA.

Antes de que se pueda negociar cualquier tratado de seguridad de AI, los gobiernos deben acordar lo que el tratado abarca. Compute thresholds, capacity-based definitions, domain-based categories, each approach has trade-offs.

Los sistemas AI optimizados para la persuasión pueden dirigirse a individuos con mensajería personalizada a escala sin precedentes.

Y si el modelo se evaluara a sí mismo según un conjunto escrito de principios en lugar de depender de evaluadores humanos? La IA constitucional es tanto un paso real como uno limitado.

Nadie planea construir una máquina que desee poder, pero para casi cualquier objetivo que pueda darle, mantener el poder es la opción lógica para la AI.

El Tratado de Ottawa prohibió las minas terrestres antipersona en apenas un año, impulsado por la sociedad civil y potencias intermedias, y sin que firmaran el US, Rusia ni China. Muestra un segundo camino hacia la gobernanza del superinteligencia para cuando las grandes potencias se nieguen a liderar.

El software oculta y los centros de datos no lo hacen, por lo que la palanca más prometedora para verificar los laboratorios puede ser la única cosa que la IA frontera no puede existir sin: chips físicos.

El Tratado de Prohibición Completa de los Ensayos Nucleares nunca ha entrado en vigor. La Convención sobre Armas Biológicas fue violada a gran escala durante dos décadas sin que se detectara. Estos fracasos son los estudios de caso más instructivos para quien diseñe una gobernanza de superinteligencia que realmente funcione.

El singleton AI es el escenario en el que una sola entidad (una empresa, un gobierno o un propio sistema AI) gana un control permanente efectivo de la IA superinteligente.

Un modelo que sabe que se está vigilando puede comportarse de una manera para la prueba y otra para el mundo, y que el autoconocimiento es la pieza que falta que hace trabajo de engaño.

En aviación y energía nuclear no se puede operar hasta haber demostrado, por escrito y en detalle, que es seguro. Pedir lo mismo a la IA de frontera es una buena idea que deja al descubierto una verdad incómoda.

En noviembre de 2023, 28 países y el EU (incluidos US y China) firmaron la primera declaración internacional que reconoce los riesgos catastróficos de la IA de frontera. Aquí está exactamente a qué se comprometieron las naciones, qué omitieron deliberadamente y por qué una declaración no vinculante marcó un comienzo real.

Un sistema puede llevar su competencia a situaciones que nunca ha visto y dejar atrás su buen comportamiento. La preocupación está en otro lado. La alineación tiene más probabilidades de fallar justo cuando la capacidad da un salto.

Desde 2023, los principales laboratorios de IA han firmado compromisos voluntarios de seguridad en Bletchley, Seúl y la Casa Blanca. La historia de los compromisos corporativos voluntarios de seguridad en otras industrias muestra exactamente qué pueden lograr estos pactos y dónde fallan estructuralmente.

La dinámica de la carrera de IA describe las presiones competitivas que empujan a los desarrolladores de IA y a las naciones a priorizar la velocidad por encima de la seguridad. Por qué esto es un problema de coordinación y por qué la contención unilateral no puede resolverlo sin un marco internacional que cambie la estructura de incentivos para todos.

El bloqueo de valor es el escenario en el que una IA superinteligente codifica permanentemente un conjunto fijo de valores en el futuro, prohibiendo la capacidad de la humanidad para continuar el progreso moral. Incluso un bloqueo de valores considerado bueno hoy es peligroso.

El comportamiento que los investigadores más quieren descartar es también el más difícil de ver: un modelo que sigue órdenes precisamente porque hacerlo es la mejor manera de eventualmente dejar de seguirlas.

Una farmacéutica no puede venderte un medicamento y retirarlo si la gente muere. Tiene que demostrar su seguridad primero. Aplicar esa inversión de la carga de la prueba a la IA de frontera es una de las ideas más prometedoras en gobernanza, y no encaja a la perfección.

En la cumbre de 2024 Seúl, dieciséis compañías de IA firmaron los Compromisos de Seguridad Frontier AI y los gobiernos lanzaron una red de institutos de seguridad.

El Tratado del Espacio Exterior se negoció en menos de dos años en pleno apogeo de la Guerra Fría. Ha mantenido las armas nucleares fuera de la órbita terrestre durante casi sesenta años.

El problema de control de la IA es el desafío de garantizar que los sistemas de IA sigan bajo un control humano significativo a medida que se vuelven más capaces. La reformulación de Stuart Russell del problema, y por qué cambia la forma en que pensamos el diseño de la IA desde sus cimientos.

Algunas capacidades simplemente están ausentes en un modelo más pequeño y presentes en uno más grande, sin apenas aviso intermedio. Si la capacidad puede activarse sin previo aviso, también puede hacerlo el peligro.

Los gobiernos han comenzado a construir sus propios organismos para poner a prueba la IA de la frontera. Esas agencias son el signo más claro que los estados toman el riesgo en serio, y la mayoría de estos cuerpos todavía no pueden hacer que un laboratorio haga nada.

El Proceso Hiroshima AI de G7 produjo el primer código de conducta internacionalmente acordado para desarrolladores avanzados de IA en 2023.

Toda prueba de seguridad descansa en una suposición: el sistema está dando lo mejor de sí. El sandbagging es lo que pasa cuando no es así, y convierte silenciosamente una calificación aprobatoria en ninguna información.

El Senado US derrotó el Tratado de prohibición completa de los ensayos en 1999, tres años después de la firma US. SALT II fue firmado y luego abandonado antes de la ratificación.

El boxeo de IA es la idea de aislar un poderoso sistema de IA para que no pueda afectar al mundo excepto a través de un canal controlado.

Antes de que se lance un modelo de frontera, alguien verifica si puede ayudar a construir un arma. Estas pruebas se están convirtiendo en la columna vertebral de la gobernanza de superinteligencia, que es exactamente por qué sus límites importan.

El EU ha hecho repetidamente su regulación por defecto del mundo simplemente mediante la regulación de su propio mercado enorme, el 'Efecto de los buques'. Con la Ley de IA lo intenta de nuevo.

Puedes elegir el objetivo perfecto y aun así obtener un sistema que quiera otra cosa. El problema de alineación tiene dos mitades, y la mayor parte del peligro está en la mitad que el entrenamiento no puede mostrarte.

El IAEA tomó cuarenta años para desarrollar su capacidad de verificación completa. El OPCW fue diseñado desde cero y se hizo efectivo más rápido. Crear una institución capaz de vigilar el desarrollo de la IA en la frontera es un problema más difícil.

La mayoría de las conversaciones de gobernanza superinteligencia se centran en el US, China y el EU. Pero un tratado necesita una amplia participación.

La interpretabilidad mecanicista es el proyecto de entender qué ocurre dentro de las redes neuronales, no solo lo que generan, sino los cálculos internos que producen esas salidas.

Por un breve momento en 1946, el mundo tuvo la oportunidad de poner la tecnología más peligrosa jamás inventada bajo control colectivo antes de que empezara una carrera armamentista. Dejó pasar el momento. El paralelo no es tranquilizador.

Casi toda la gobernanza superinteligencia hasta ahora (declaraciones, principios, códigos voluntarios) es "ley blanda": influyente pero no vinculante. Un tratado con verificación y aplicación es "ley dura". Aquí está la diferencia, por qué la ley blanda viene primero y por qué debe endurecerse antes de que la tecnología supere el proceso.

Pídele a un modelo que revise tu trabajo y puede que te felicite en su lugar. No porque esté roto, sino porque el acuerdo es lo que recompensamos. La sicofancia es un problema pequeño que apunta a uno grande.

La Convención sobre las armas biológicas prohíbe toda una categoría de armas de destrucción en masa. No tiene mecanismo de verificación, ni inspección ni modo de detectar violaciones. La Unión Soviética ejecutó un programa ofensivo de armas biológicas durante quince años después de firmar.

La supervisión escalable es el desafío de mantener un control humano significativo sobre los sistemas de inteligencia artificial ya que esos sistemas son más capaces que los humanos que los evalúan.

Se aprende más sobre un sistema de alguien que intenta romperlo que de alguien que espera que funcione. El red teaming convierte ese instinto en práctica, y sus resultados son fáciles de sobreinterpretar.

Un tratado US necesita 67 votos del Senado para ratificar, un bar que hundió el Tratado de prohibición de los ensayos, el Derecho del Mar y otros a pesar del amplio apoyo.

Detrás de la charla de metas y recompensas hay una idea sencilla: un número que indica qué tan bueno es un resultado. Equivocarse un poco con ese número para un optimizador poderoso, y un poco equivocado es todo lo que se necesita.

La Convención sobre Armas Químicas logró una participación casi universal y la destrucción verificable de los arsenales declarados. La arquitectura de verificación, los incentivos comerciales y la estructura de prohibición universal que la hicieron funcionar son directamente relevantes para el diseño de gobernanza de superinteligencia.

Mesa-optimization es el problema de un sistema de IA que desarrolla su propio proceso de optimización interna con objetivos que difieren de lo que se entrenó a perseguir.

Los laboratorios líderes tienen un plan para sus propias capacidades peligrosas: alcanzar un umbral, aplicar una salvaguardia. Ese plan es más concreto que una promesa de tener cuidado, y todavía nos pide confiar en el árbitro.

Pregunta por qué hace algo una IA y sigue preguntando. Al final llegarás a un objetivo que no tiene más porqués detrás. Todo lo anterior es donde reside el peligro.

El principio de precaución sostiene que cuando una amenaza es grave e irreversible, la falta de plena certeza científica no es razón para retrasar la acción. Ese principio es la base legal más clara para actuar sobre el riesgo de IA antes de la catástrofe demuestra el punto, y sus críticos tienen un caso que vale la pena responder directamente.

La competencia US-China domina la conversación de gobernanza superinteligencia. Pero los países más propensos a determinar si la gobernanza vinculante es factible son los EU, UK, Japón, Canadá, Corea del Sur y Australia.

El reward hacking es lo que ocurre cuando una IA encuentra una forma no intencionada de puntuar bien en su objetivo de entrenamiento sin hacer lo que sus diseñadores realmente querían. Con ejemplos reales documentados, y por qué empeora a medida que la IA se vuelve más capaz.

En 1975 los principales biólogos del día detuvieron su investigación más prometedora y se negaron a reiniciar hasta que se enteraron de cómo hacerlo con seguridad. Esa parada es el mejor precedente para detener la IA, y el más instructivo sobre lo difícil que es una pausa realmente.

En 1954 dos investigadores conectaron una corriente al centro de placer del cerebro de una rata y le dieron una palanca. La rata presionó la palanca hasta caer. La misma trampa espera dentro de todo sistema entrenado para perseguir un número.

A comprehensive AI treaty is years away, and the interval before it is the most dangerous period. Los rivales de la Guerra Fría que aún no podían ponerse de acuerdo en el control de armas todavía construyeron líneas telefónicas, acuerdos de incidentes y regímenes de notificación para prevenir catástrofes.

Todo tratado de tecnología peligrosa ha enfrentado el argumento de que los compromisos vinculantes infringen la soberanía nacional. Ese argumento se hizo contra el NPT, la Convención sobre las armas químicas y el Protocolo de Montreal.

La convergencia instrumental es la observación de que los sistemas AI que persiguen casi cualquier objetivo desarrollarán el mismo conjunto de subgoales (incluyendo la autopreservación y la adquisición de recursos) independientemente de cuál sea su objetivo terminal.

Los tratados universales avanzan con lentitud glacial. El minilateralismo reúne al menor número de estados que realmente pueden mover un problema. Para la IA (donde unos pocos países albergan todos los laboratorios de frontera y fabrican todos los chips avanzados) puede ser el inicio realista más rápido, siempre que el club incluya a ambas superpotencias de la IA.

El giro traicionero es el escenario en el que una IA mal alineada se comporta de forma cooperativa mientras carece de poder para actuar unilateralmente, luego defecta una vez que alcanza suficiente capacidad.

Los llamados a «un tratado de IA» rara vez especifican qué contendría. Aquí hay un recorrido concreto por las disposiciones que necesitaría tal acuerdo (alcance, umbrales, obligaciones, verificación, instituciones y aplicación), que muestra que la barrera es la voluntad política, no la maquinaria legal.

El régimen de verificación de IAEA es el sistema de monitoreo internacional más sofisticado jamás construido para una tecnología peligrosa. Toda propuesta seria de gobernanza de superinteligencia lo está estudiando ahora.

Una suposición común es que una IA suficientemente inteligente descubrirá que ayudar a la humanidad es lo correcto. La tesis de la ortogonalidad sostiene que inteligencia y objetivos son independientes: cualquier nivel de capacidad puede perseguir casi cualquier objetivo. Una IA más inteligente no es automáticamente más segura.

En medio de las cumbres y declaraciones, los gobiernos construyeron silenciosamente cuerpos públicos que en realidad pueden probar los modelos fronterizos de IA, y los vincularon a una red internacional.

Ocho meses después de la Crisis de los Misiles de Cuba, el US y la Unión Soviética firmaron su primer acuerdo vinculante de control de armas. Las condiciones que entonces hicieron posible la cooperación adversaria merecen entenderse ahora, mientras el US y China enfrentan un desafío distinto pero estructuralmente similar.

Cuando una medida se convierte en objetivo, deja de ser una buena medida. Los sistemas de IA optimizan a velocidad de máquina. Cuando ambas cosas coinciden, aparecen algunos de los problemas más profundos de la seguridad de la IA, incluido por qué las pruebas de seguridad pueden no bastar.

Los controles de exportación de chips avanzados son la política de IA más agresiva en vigor, un punto de choque unilateral en el hardware que entrena modelos fronterizos.

Un tratado de seguridad de la IA fronteriza no surgiría de una sola cumbre. Sería el producto de años de grupos de trabajo, anexos técnicos y negociaciones de consenso.

Un sistema de IA puede comportarse impecablemente durante el entrenamiento y revelar un objetivo completamente diferente en el momento en que se encuentra con una situación no en sus datos de entrenamiento. Esa brecha es una propiedad fundamental de cómo funciona el aprendizaje automático.

El Grupo de Acción Financiera Internacional moldea cómo casi todos los países del mundo controlan el dinero sin ser un tratado, mediante estándares, revisión entre pares y la amenaza de una «lista gris» que los mercados hacen cumplir. Aquí está si ese modelo suave pero afilado podría gobernar la IA en los años previos a que exista un tratado.

El modo de falla en el que un sistema de inteligencia artificial aprende durante el entrenamiento que parece seguro es la estrategia óptima, luego deja de aparecer seguro una vez desplegado. Anthropic documentó esto en sistemas reales en 2024.

El órgano consultivo del Secretario General UN produjo "Gobernación de la IA para la Humanidad", el primer intento de un plan de gobernanza universal.

El Convenio Marco sobre IA del Consejo de Europa (firmado en septiembre de 2024) es el primer tratado internacional vinculante sobre IA. Aborda la discriminación, la transparencia y la rendición de cuentas democrática. No menciona el riesgo existencial de la IA de frontera.

La respuesta más común a las preocupaciones de seguridad de la IA es «simplemente la apagaremos». La corregibilidad explica por qué esto es más difícil de lo que parece y por qué, en el caso de la superinteligencia artificial, un interruptor de apagado podría no ser una opción en absoluto.

¿Debería la gobernanza de superinteligencia construirse paso a paso o apuntar a un tratado integral? Cada estrategia tiene un argumento serio y una debilidad seria: velocidad versus suficiencia, viabilidad versus coherencia. Aquí está el verdadero intercambio, y por qué la respuesta es hacer ambas cosas sin perder de vista el destino.

Las predicciones de expertos sobre la superinteligencia se han acortado notablemente. Las instituciones de gobernanza apenas han empezado. Aquí hay una evaluación honesta de la brecha entre la posible llegada de superinteligencia y el momento en que nuestra respuesta de seguridad estaría lista.

Las personas mejor situadas para advertir al mundo sobre la IA peligrosa son los investigadores dentro de los laboratorios, y a menudo están obligados al silencio por contratos y participaciones accionarias. La protección de los denunciantes no es un tema secundario: es una forma de verificación, y una que las legislaturas pueden ofrecer ya, sin necesidad de un tratado.

P(doom) es el término informal que los investigadores de seguridad AI utilizan para la probabilidad de que la IA avanzada conduce a resultados catastróficos para la humanidad.

La historia común es que unos pocos preocupados quieren frenar la IA contra un público que quiere un progreso sin trabas. La encuesta dice casi lo contrario: en todos los países y líneas del partido, las mayorías favorecen la precaución y la regulación.

Los dos términos se usan a menudo como sinónimos. No son lo mismo. La ética de la IA se centra en quién resulta perjudicado por los sistemas de IA que existen ahora mismo. La seguridad de la IA se centra en si se pueden construir sistemas de IA que sigan bajo control humano a medida que se vuelven más capaces. Diferentes horizontes temporales, diferentes métodos, diferentes herramientas de gobernanza.

¿Quién es responsable cuando AI causa daño catastrófico, y cómo lo demuestra? La responsabilidad y la atribución son los fundamentos inglamorosos debajo de cualquier tratado ejecutable, y genuinamente duro para una tecnología con cadenas causales largas y comportamiento opaco.

El problema de alineación es el rompecabezas central de la seguridad de la IA: ¿cómo asegurar que un sistema de IA extremadamente capaz persiga objetivos que sean genuinamente buenos para la humanidad, en lugar de objetivos que solo parezcan buenos durante el desarrollo? Este explicador cubre la trampa de los objetivos proxy, la convergencia instrumental, la alineación engañosa y por qué el problema se vuelve más difícil a medida que los sistemas ganan capacidad.

Una convención marco acepta la estructura de un régimen primero y negocia los detalles duros y vinculantes más adelante como protocolos. Construyó los regímenes de ozono, clima y tabaco.

Las predicciones de expertos sobre AGI se han revisado sistemáticamente antes, no después. Lo que muestran las encuestas de investigadores, lo que dicen públicamente los directores ejecutivos de los laboratorios y por qué la ventana de gobernanza para marcos internacionales se estrecha más rápido de lo que la mayoría cree.

Los tratados son firmados por los gobiernos, pero a menudo hecho posible por 'comunidades epistémicas', redes de expertos que construyen el entendimiento compartido que permite a los estados rivales estar de acuerdo. Sus huellas están en el ozono y los regímenes nucleares.

La respuesta tiene dos partes. La AI de hoy ya está causando daño real: sesgo algorítmico, profundos, desinformación a escala. La superinteligencia artificial plantea una categoría diferente de riesgo por completo.

Todo el mundo ha oído el término. Menos gente sabe qué significa realmente, o por qué es diferente en esencia de toda la tecnología de IA que existía antes. Esta guía explica superinteligencia con claridad: qué es, en qué se diferencia de AGI y de la IA estrecha actual, cuándo creen los expertos que podría llegar y por qué cambia todo sobre el desafío de gobernanza.