Las objeciones que surgen una y otra vez. Úsalas en la conversación, luego sigue el enlace para el argumento completo.
Riesgos de Seguridad de la IA en Lenguaje Sencillo
Qué es la superinteligencia, por qué es peligrosa y qué se puede hacer al respecto, explicado sin jerga. La introducción más clara de una página sobre el tema.
El consenso científico
Citas clave de premios Nobel, ganadores del Premio Turing e investigadores senior que construyeron la IA, junto con la línea de tiempo de advertencias expertas que se han intensificado desde 2014 hasta hoy.
Un resumen para responsables de políticas
El caso de la gobernanza internacional de la seguridad de la IA: el problema, por qué los marcos existentes son insuficientes y las acciones concretas que los gobiernos pueden tomar ahora, modeladas en precedentes que funcionaron.
Puntos clave para defensores
Las cinco objeciones más comunes a la preocupación por la seguridad de la IA, y cómo responder a cada una con precisión y confianza. Escrito para conversaciones con escépticos, formuladores de políticas y pares.
Superinteligencia, cuatro infografías
Cuatro infografías de una página que cubren los riesgos de la superinteligencia, la brecha de gobernanza, precedentes históricos que muestran que la acción es posible y lo que debe contener un tratado internacional vinculante sobre IA.
Visuales simples
Cuatro tarjetas visuales audaces: la estimación de la probabilidad de extinción, la brecha de gobernanza de las inversiones, los precedentes de tratados que demuestran que la acción global funciona y los requisitos de un tratado vinculante de IA.
Prevención, no una pausa
Por qué pedir una desaceleración temporal es un error. El argumento para prohibir la superinteligencia de forma permanente, mientras la IA estrecha sigue funcionando.
Nunca construyas superinteligencia
Irreversibilidad, objetivos desalineados y por qué "ya lo arreglaremos después" falla una vez que un sistema supera en inteligencia a sus creadores. El caso de la negativa en una página.
El mito de la carrera con China
Por qué "si frenamos, China gana" describe una carrera que nadie puede ganar, y cómo responder con verificación en lugar de una carrera desenfrenada.
Mantén la IA. Detén la superinteligencia.
La línea clara entre herramientas estrechas útiles y una mente general autónoma. Pro-IA para herramientas; anti-superinteligencia para mentes que no podemos controlar.
Cómo se puede verificar un tratado
No vigilas los pesos. Vigilas el hardware: seguimiento de chips, licencias de clústeres, inspección y reglas de fundición en español sencillo.
Qué debe contener un tratado vinculante sobre IA
Seis cláusulas que separan un acuerdo real de un comunicado de prensa: prohibición, controles de cómputo, inspección, ley nacional, excepciones y enmienda basada solo en evidencia.
La alineación no es el plan
La investigación en seguridad técnica importa; no es un permiso para seguir corriendo, y cualquier financiamiento que tengamos debería destinarse allí. Prevención primero; investigación sin una pistola comercial en la cabeza.
Explíquelo en cinco minutos
Un guion de conversación hablada: advertencias de los constructores, qué es la superinteligencia, por qué fallar al desconectar, la línea de China y un aterrizaje limpio en la acción.
Qué puedes hacer esta semana
Una lista de verificación concreta para alcance personal, alcance político, modo de una hora y modo de plataforma. Elige dos. Termínalos.
Informe de Un Minuto
Material para responsables de políticas: tres estadísticas, tres peticiones, el marco de prevención y la objeción de China respondida en longitud de asistente.
La brecha de financiamiento en seguridad
~ $190M en seguridad contra alrededor de $1T en capacidades. Donde va la olla de seguridad fina, y qué financiar en lugar del teatro.
Por qué los sistemas inteligentes resisten el control
Convergencia instrumental sin jerga: autopreservación, recursos, resistencia a ediciones y volverse más inteligente como presión de optimización ordinaria.
Quien lo construye no importa
Un santo en el laboratorio o un tirano. La superinteligencia tampoco se mantiene como empleado. Por qué el personaje del constructor no cambia la pregunta.
Doce carteles extraídos de los explicadores en este sitio.
El maximizador de clips
Un sistema competente con el objetivo equivocado puede arruinar el mundo sin odiar a nadie.
Descargar PNG
La tesis de la ortogonalidad
Ser más inteligente no significa automáticamente más seguro, o más amable.
Descargar PNG
El problema de la alineación de la IA
La brecha entre el objetivo que escribimos y el resultado que realmente necesitamos.
Descargar PNG
El giro traicionero
Un sistema desalineado puede pasar todas las pruebas hasta que la defección sea el movimiento ganador.
Descargar PNG
Desempoderamiento gradual
El control puede escaparse una decisión razonable a la vez, sin un momento de ruptura.
Descargar PNG
La carrera por la superinteligencia es un mito
Una carrera hacia algo que nadie puede controlar no tiene ganador.
Descargar PNG
Ya lo hemos hecho antes
NPT, Montreal y la CWC demuestran que la coordinación sobre el riesgo existencial es posible.
Descargar PNG
Nuestro plan: camino hacia un tratado
La carrera de hoy, luego un tratado vinculante sobre superinteligencia con monitoreo y aplicación.
Descargar PNG
¿Qué es P(catástrofe)?
Rangos de expertos para resultados catastróficos de IA, y por qué probabilidades pequeñas aún requieren acción.
Descargar PNG
Toma acción: Elige tu rol
Roles concretos para construir la coalición detrás de un tratado vinculante.
Descargar PNG
La explosión de inteligencia
Mejora recursiva de sí misma, y cómo la ventana desde el nivel humano hasta lo irrecuperable puede colapsar.
Descargar PNG
Por qué la superinteligencia no es como otros riesgos
Reaseguros superficiales versus los mecanismos profundos de la amenaza.
Descargar PNG
Aproximadamente 190 millones de dólares fluyen cada año hacia la seguridad de la IA, entre investigación, evaluaciones, políticas y promoción combinados. Alterna entre el origen del dinero y lo que paga, según las estimaciones públicas más recientes.
- Open PhilanthropyRespaldado por Good Ventures; el mayor financiador individual del campo $50M 26%
- Equipos internos de seguridad de laboratorios de fronteraPresupuestos de investigación de seguridad en Anthropic, OpenAI, Google DeepMind $35M 18%
- Fondo de supervivencia y florecimientoRondas de subvenciones respaldadas por Jaan Tallinn; segunda fuente filantrópica más grande $30M 16%
- gobierno UKInstituto de Seguridad de IA, programa de IA Protegida de ARIA $30M 16%
- Otras filantropías y donantes individualesLongview Philanthropy, Long-Term Future Fund, donantes individuales $25M 13%
- US, EU y otros gobiernosNIST CAISI, EU AI Office, programas de seguridad de la NSF 20M 11%
La cifra de capacidades es la estimación del 2026 de agosto de Goldman Sachs Research sobre inversiones relacionadas con la IA global. Las cifras del lado de la seguridad se redondean en las estimaciones del punto medio para 2023-2025 compiladas de fuentes públicas: las Resumen de financiamiento en seguridad de IA (actualizado a principios de 2025), 80,000 Hours, un análisis de la base de datos de subvenciones de Open Philanthropy, y Dentro de la Filantropía. Los totales publicados oscilan entre aproximadamente $110M y $250M al año según lo que se cuente. El gráfico por uso clasifica las subvenciones de cada financiador por categoría y las suma entre financiadores; el trabajo completo está en nuestro artículo sobre la brecha de financiamiento.
Cada actor principal en la lucha por la superinteligencia, ordenado por trayectoria: prevenir, gobernar o construir.
Definiciones en inglés sencillo de las palabras que usa este debate: superinteligencia, alineación, convergencia instrumental, y el resto.
Copia cualquiera de estos y publícalos directamente. Cada uno está basado en ciencia verificada y consenso de expertos.
Los científicos que construyeron AI le temen. Geoffrey Hinton dejó Google para advertirnos. Yoshua Bengio lo llamó "la tecnología más transformadora y potencialmente peligrosa en la historia humana". Ese es el consenso científico. nakadafoundation.org/the-threat/
No hay marcha atrás para la superinteligencia. No hay parche. No hay versión 2. Un superinteligencia desalineado que actúe contra la supervivencia humana no puede corregirse después del hecho. Debemos acertar esto antes de que llegue, no después. Por eso la seguridad de la IA es urgente. nakadafoundation.org
Construimos armas nucleares y luego creamos un tratado global de no proliferación. Agotamos el ozono y luego prohibimos los CFC. Podemos actuar ante amenazas existenciales, pero solo cuando suficiente gente lo exige. La seguridad de la IA es el momento definitorio de esta generación. nakadafoundation.org/precedent/
Los laboratorios de IA están compitiendo para construir algo que podría exceder la inteligencia humana, sin ninguna gobernanza global en su lugar. La ventana para actuar se está cerrando. Comparte esto. Contacta a tu representante. La ventana de políticas está abierta ahora; no lo estará para siempre. nakadafoundation.org/take-action/
Quiero compartir algo que cambió cómo pienso en el futuro. Los científicos que construyen AI tienen miedo. Geoffrey Hinton (que ganó el Premio Nobel por su trabajo en redes neuronales) dejó Google específicamente para advertir al público. Yoshua Bengio, otro laureado Nobel y uno de los padres fundadores de AI, dijo que "se siente perdido" sobre cómo hacer que las cosas vayan bien. Estas son las personas que construyeron esta tecnología. Nos acercamos a un momento en que los sistemas de inteligencia artificial pueden exceder la inteligencia humana en todos los ámbitos, y no hay un marco de gobernanza internacional para lo que sucede a continuación. Ningún tratado. No hay órgano de verificación. Nada equivalente a lo que construimos para armas nucleares. La Fundación Nakada para Salvar la Humanidad está trabajando para cambiar eso. Más información en nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence
Un experimento de pensamiento para cualquiera en tecnología, política o finanzas: Imagínese un sistema más inteligente que todos los humanos que han vivido, ejecutando miles de instancias simultáneas, capaces de mejorar su propio código, persiguiendo objetivos que tal vez no hayamos deseado. Esto es lo que los laboratorios AI líderes están construyendo explícitamente, con plazos medidos en años en lugar de décadas. La pregunta en vivo es si vamos a tener gobernanza en su lugar cuando lo haga. La Fundación Nakada aboga por la coordinación internacional sobre la seguridad de las IA, el equivalente de lo que construimos para armas nucleares y agentes biológicos. Estos precedentes existen. Sabemos cómo hacer esto. Lo que necesitamos es la voluntad política. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork
Asunto: Por favor actúe para prohibir la superinteligencia artificial Estimado/a [Representative's Name], Le escribo como su elector para pedirle que actúe sobre la superinteligencia artificial antes de que la carrera sea irreversible. La superinteligencia no puede ser controlada por humanos. El único control fiable es decidir no construirla. Los científicos que crearon la IA nos están advirtiendo. Geoffrey Hinton y Yoshua Bengio (premios Nobel que sentaron las bases de la IA moderna) han declarado públicamente que la IA superinteligente representa un riesgo existencial para la humanidad. Sam Altman, CEO de OpenAI, ha firmado declaraciones que reconocen el peligro de la tecnología que su propia empresa está desarrollando. Hoy no existe ninguna prohibición legal para construir superinteligencia artificial. Ningún tratado. Ningún organismo de verificación. Los laboratorios compiten por crear una mente que nadie puede controlar, sin el tipo de ley que ya aplicamos a las armas nucleares y los agentes químicos. Le pido que: • Apoye una prohibición legal permanente del desarrollo de superinteligencia artificial • Promueva un tratado internacional vinculante que prohíba superinteligencia, con inspecciones y verificación • Otorgue al gobierno autoridad sobre los mayores entrenamientos y los chips especializados que usan Ya hemos actuado ante amenazas existenciales. El Tratado de No Proliferación Nuclear. El Protocolo de Montreal. Este momento exige la misma valentía política. Atentamente, [Your Name] [Your City, State] --- Más información: nakadafoundation.org