Who is working on this.
Estas organizaciones están realizando investigaciones, trabajo político y promoción pública en la frontera de la seguridad de la IA. Todos ellos son independientes de las empresas que se apresuran a construir superinteligencia. Sigue su trabajo. Apoye sus misiones.
Independent Safety Research 6 organizations
Center for AI Safety
Financia investigaciones sobre seguridad y moviliza consenso científico sobre el riesgo de la IA. Mejor conocido por la declaración de riesgo de extinción para 2023 firmada por cientos de figuras destacadas de la IA, incluidos Geoffrey Hinton, Yoshua Bengio y los directores ejecutivos de OpenAI, Anthropic y Google DeepMind.
safe.ai →
Machine Intelligence Research Institute
La organización de seguridad más antigua del campo, que trabaja en el problema de la alineación desde el año 2000. Después de dos décadas de investigación técnica, MIRI concluyó que la alineación no se resolverá a tiempo y ahora trabaja para convencer a los formuladores de políticas y al público de que el desarrollo de superinteligencia debe detenerse hasta que pueda realizarse de manera segura.
intelligence.org →
Center for Human-Compatible AI
Investigación sobre la construcción de una IA que esté demostrablemente alineada con las preferencias humanas. El laboratorio de Stuart Russell aborda tanto la teoría como la práctica del problema de alineación.
humancompatible.ai →
Centre for the Study of Existential Risk
Centro de investigación dedicado a estudiar y mitigar riesgos que podrían reducir permanentemente el potencial de la humanidad a largo plazo. Produce trabajos orientados a políticas sobre el riesgo existencial de la IA para gobiernos e instituciones internacionales.
cser.ac.uk →
METR
Organización sin fines de lucro independiente que prueba modelos fronterizos en busca de capacidades autónomas peligrosas antes de su lanzamiento. Sus mediciones de la rapidez con la que los sistemas de IA completan tareas largas se encuentran entre las pruebas más citadas de la rapidez con la que están creciendo las capacidades.
metr.org →
Apollo Research
Evalúa modelos de frontera en busca de engaños e intrigas, probando si los sistemas de IA persiguen objetivos ocultos cuando creen que nadie los está mirando. Sus hallazgos aparecen en tarjetas de sistemas de laboratorio y evaluaciones de riesgos gubernamentales.
apolloresearch.ai →Policy Research 4 organizations
Centre for the Governance of AI
Investigación independiente sobre cómo se debe gobernar la IA avanzada. Produce análisis de políticas rigurosos para gobiernos e instituciones internacionales.
governance.ai →
Simon Institute for Longterm Governance
Trabaja con el UN, la OCDE y otras instituciones multilaterales en la gobernanza de los riesgos transformadores, incluida la IA. Construye las estructuras de coordinación internacional necesarias antes de que las carreras de capacidad se vuelvan irreversibles.
simoninstitute.ch →
Centre for Long-Term Resilience
UK grupo de expertos que trabaja directamente con el gobierno en respuestas políticas a riesgos catastróficos, incluida la IA. Centrado en la construcción de resiliencia institucional y marcos vinculantes a nivel gubernamental.
longtermresilience.org →
Nuclear Threat Initiative
Fundada para reducir las amenazas de armas nucleares, biológicas y químicas, ahora trabaja explícitamente en la gobernanza de la IA siguiendo el modelo de marcos de control de armas. Aporta décadas de experiencia en la elaboración de tratados al riesgo de la IA.
nti.org →Advocacy & Movement Building 3 organizations
Future of Life Institute
Promoción de políticas y concesión de subvenciones para reducir los riesgos catastróficos de la IA avanzada. Organizó la carta de pausa de 2023 y la declaración de 2025 pidiendo la prohibición del desarrollo de superinteligencia hasta que haya un consenso científico de que se puede hacer de forma segura.
futureoflife.org →
PauseAI
Movimiento impulsado por voluntarios que pide un alto global en el desarrollo de la IA hasta que se pueda garantizar la seguridad. Organiza protestas, cabildeo y campañas políticas en países de todo el mundo.
pauseai.info →
ControlAI
Campañas para imponer límites nacionales e internacionales vinculantes al desarrollo de superinteligencia, informando directamente a los legisladores. Su plan "Un camino estrecho" establece el tipo de marco aplicable que defendemos.
controlai.com →Government & International Bodies 3 organizations
AI Security Institute
El primer organismo gubernamental del mundo dedicado a las pruebas de IA de vanguardia, lanzado en 2023 como AI Safety Institute. Evalúa modelos de frontera antes y después de la implementación y publica los hallazgos para informar las políticas.
aisi.gov.uk →
Center for AI Standards and Innovation
El organismo federal US para la evaluación de modelos y estándares de IA, ubicado dentro del NIST. Creado como US AI Safety Institute en 2023 y renombrado en 2025, desarrolla metodologías de prueba y evalúa sistemas de frontera para detectar riesgos de seguridad.
nist.gov →
European AI Office
Implementa y hace cumplir la Ley de IA EU, la primera ley de IA vinculante e integral del mundo, incluidas sus obligaciones para las empresas que construyen IA de propósito general. Lo más parecido hasta ahora al poder de aplicación que necesitaría un tratado global.
ec.europa.eu →Tanto el instituto UK como el US eliminaron la palabra "seguridad" de sus nombres en 2025. La atención del gobierno se desvía con la política, una razón más por la que los acuerdos internacionales vinculantes son importantes.
Research Communities & Careers 2 organizations
AI Alignment Forum
El principal centro en línea para la investigación y colaboración técnica en seguridad de IA. Lectura esencial para comprender dónde se encuentra el trabajo de alineación y hacia dónde se dirige el campo.
alignmentforum.org →
80,000 Hours, AI Safety
Orientación profesional para personas que quieran trabajar en los problemas más urgentes del mundo. Califica la seguridad de la IA como una prioridad máxima y asesora a investigadores, ingenieros y profesionales de políticas sobre dónde pueden contribuir más.
80000hours.org →
Words that reach people.
Copie cualquiera de estos y publíquelos directamente. Cada uno se basa en ciencia verificada y consenso de expertos, escritos para informar, no alarmar.
Los científicos que construyeron la IA le temen. Geoffrey Hinton dejó Google para advertirnos. Yoshua Bengio la llamó "la tecnología más transformadora y potencialmente peligrosa en la historia de la humanidad". Esto no es generar miedo. Es el consenso científico. nakadafoundation.org/la-amenaza/
No hay retroceso para la superinteligencia. Sin parche. Sin versión 2. Un ASI desalineado que actúa contra la supervivencia humana no puede corregirse a posteriori. Debemos solucionar esto antes de que llegue, no después. Por eso la seguridad de la IA es urgente. nakadafoundation.org
Construimos armas nucleares y luego creamos un tratado global de no proliferación. Agotamos el ozono y luego prohibimos los CFC. Podemos actuar ante amenazas existenciales, pero sólo cuando suficientes personas lo exijan. La seguridad de la IA es el momento decisivo de esta generación. nakadafoundation.org/precedent/
Los laboratorios de IA están compitiendo para construir algo que pueda superar la inteligencia humana, sin una gobernanza global establecida. La ventana para actuar se está cerrando. Comparte esto. Póngase en contacto con su representante. La ventana de políticas está abierta ahora; no será para siempre. nakadafoundation.org/take-action/
I want to share something that changed how I think about the future. The scientists building AI aren't just excited. They're scared. Geoffrey Hinton (who won the Nobel Prize for his work on neural networks) left Google specifically to warn the public. Yoshua Bengio, another Nobel laureate and one of AI's founding fathers, said he "feels lost" about how to make things go well. These aren't activists. They are the people who built this technology. We are approaching a moment when AI systems may exceed human intelligence in every domain, and there is no international governance framework for what happens next. No treaty. No verification body. Nothing equivalent to what we built for nuclear weapons. The Nakada Foundation to Save Humanity is working to change that. Learn more at nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence
A thought experiment for anyone in technology, policy, or finance: Imagine a system more intelligent than every human who ever lived, running thousands of simultaneous instances, capable of improving its own code, pursuing goals we may not have intended. This is not science fiction. This is what leading AI labs are explicitly building toward, with timelines measured in years, not decades. The question isn't whether it will happen. The question is whether we will have governance in place when it does. The Nakada Foundation advocates for international coordination on AI safety, the equivalent of what we built for nuclear weapons and biological agents. These precedents exist. We know how to do this. What we need is the political will. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork
Subject: I am writing about AI safety legislation Dear [Representative's Name], I am a constituent writing to urge you to take action on artificial intelligence safety before it becomes an irreversible crisis. The scientists who built AI are warning us. Geoffrey Hinton and Yoshua Bengio (Nobel laureates who created the foundations of modern AI) have publicly stated that superintelligent AI poses an existential risk to humanity. Sam Altman, CEO of OpenAI, has signed statements acknowledging the danger of the technology his own company is building. Today, there is no international governance framework for artificial superintelligence. No treaty. No verification body. No coordinated safety standards. We are racing into an unprecedented technology without the guardrails we built for nuclear weapons or biological agents. I am asking you to: • Support legislation requiring independent safety testing before frontier AI systems are deployed • Advocate for international AI safety negotiations at the multilateral level • Fund research into AI alignment and interpretability at the national level We have acted on existential threats before. The Nuclear Non-Proliferation Treaty. The Montreal Protocol. This moment requires the same political courage. Sincerely, [Your Name] [Your City, State] --- Learn more: nakadafoundation.org