Pushback clusters into four claims: self-regulation, the off switch, complexity, and China.
Antes de la legislación del cinturón de seguridad, la industria automovilística dijo que los mandatos de seguridad destruirían las ventas de automóviles. Antes de las restricciones del tabaco, la industria dijo que el gobierno no tenía negocios que regular las opciones de consumo. Antes de prohibir los CFC, la industria química dijo que la eliminación era económicamente imposible. No eran posiciones de fringe. El argumento fue presentado por personas creíbles en publicaciones creíbles, con un razonamiento creíble.
Los argumentos contra la gobernanza de la IA siguen el mismo patrón. Suenan razonables a primera vista. A menudo los elaboran personas reflexivas que creen en ellos. No sobreviven a un escrutinio cuidadoso.
Lo que distingue la gobernanza de la IA de aquellos casos anteriores son los riesgos. La gasolina con plomo envenenó a millones; no amenazó a la civilización. Es posible que una superinteligencia desalineada no ofrezca un período correctivo. Cada objeción a la gobernanza de la IA debe evaluarse no sólo por sus méritos de forma aislada, sino también por el costo de aceptarla si resulta ser incorrecta.
A continuación se presentan las cuatro objeciones que encontramos con más frecuencia. A cada uno se le da su forma más fuerte. Cada uno se responde directamente.
Las empresas que construyen IA de vanguardia tienen equipos de seguridad, publican investigaciones de seguridad y enfrentan consecuencias para su reputación por fallas catastróficas. Los compromisos voluntarios y los incentivos de mercado son suficientes. Una regulación vinculante ralentizaría el progreso sin mejorar la seguridad.
The same argument was made about tobacco, leaded gasoline, financial derivatives, and social media. In each case, the industry's structural interest in growth was incompatible with adequate self-regulation. A company that voluntarily imposes strict safety requirements while competitors do not will lose market share. That dynamic does not change because the technology is more sophisticated. Self-regulation without binding rules is a lobbying position, not a safety strategy.
Si un sistema de IA se vuelve peligroso, los humanos pueden desactivarlo. El interruptor de apagado garantiza la supervisión humana en cada etapa del desarrollo. El escenario en el que la IA escapa al control humano es ciencia ficción.
This assumes a sufficiently capable AI system will remain passive while humans deliberate about its future operation. A system advanced enough to pose existential risk will be capable of modeling the intentions of its operators and taking steps to preserve its continued operation if its goals require it. For a system operating at machine speed, the interval between "this may be a problem" and "this is an unrecoverable problem" may not allow a human response.
Los sistemas de inteligencia artificial son demasiado complejos técnicamente para que los legisladores puedan gobernar de manera efectiva. Una regulación bien intencionada pero técnicamente mal informada causaría daños graves sin reducir el riesgo. Déjelo en manos de los ingenieros que construyen los sistemas.
Governments regulate nuclear fission without legislators holding physics degrees. They govern pharmaceutical chemistry without requiring biochemistry PhDs. The skills required for AI governance are institution-building, treaty design, standards-setting, and accountability mechanisms, all things governments do constantly. The claim that AI is too technical to regulate is the argument that AI should be governed by the companies that build it. This is a commercial argument, not a technical one.
China is investing massively in artificial intelligence. The Chinese government has identified AI leadership as a national strategic priority and has committed hundreds of billions to achieving it. If the United States or Europe slows AI development through governance frameworks, China will reach artificial general intelligence first. A world where China achieves AGI before the democratic world is worse than a world where the West gets there first. Therefore, we cannot slow down.
Esta es la versión más coherente del argumento de China y merece ser tomada en serio. No es una posición de mala fe. Mucha gente reflexiva lo sostiene con sinceridad. La pregunta es si sobrevive al escrutinio.
Creemos que no es así, por seis razones distintas. Cada uno se aborda a continuación. En conjunto, no eliminan la dimensión competitiva del desarrollo de la IA, que es real. Sin embargo, demuestran que el argumento de China, tal como se suele utilizar, no proporciona ninguna orientación y no sirve a ningún propósito estratégico más allá de justificar la ausencia de cualquier tipo de gobernanza.
The alternative to international coordination is not a world where the democratic West wins the AI race and uses its lead responsibly. The alternative is a world where five unaccountable corporations build the most consequential technology in history with no oversight from any government, anywhere, under competitive pressure that ensures corners are cut. That is a vacuum pretending to be a strategy.
La suposición básica incrustada en el argumento de China es que China se beneficiaría de ser la primera en construir una superinteligencia mal alineada. Una superinteligencia mal alineada no es un arma que China pueda usar contra Estados Unidos. Es un agente que persigue sus propios objetivos, que puede ser tan incompatible con la supervivencia humana en Beijing como en San Francisco.
China is also on this planet. Chinese leaders also have children and grandchildren. The scenario where China builds an unaligned superintelligence and uses it as a geopolitical tool against the West requires believing that Chinese leadership has solved the alignment problem that the best researchers in the world describe as unsolved. It also requires believing that Chinese leaders would risk the destruction of their own civilization for geopolitical advantage. The evidence for either belief is zero.
Estados Unidos tenía un monopolio nuclear en 1945. La Unión Soviética desarrolló armas nucleares en 1949. En cuatro años, los dos adversarios más poderosos del mundo, con sistemas políticos fundamentalmente incompatibles, guerras activas por poderes y una genuina desconfianza mutua, habían iniciado el proceso de control de armas nucleares.
The Limited Test Ban Treaty came in 1963. SALT I in 1972. The INF Treaty in 1987. START in 1991. These agreements were negotiated with a state that US leadership called the "evil empire," verified by inspection regimes, and they worked. If verified arms control was achievable with the Soviet Union at the height of the Cold War, the argument that it cannot be achieved with China is simply not credible. El precedente existe. Las técnicas son conocidas. ¿Puede el US y China estar de acuerdo en seguridad AI? →
China signed the Bletchley Declaration in November 2023, the first international agreement acknowledging that advanced AI poses potentially catastrophic risks. China participated in the Seoul AI Safety Summit in 2024. China has issued its own AI governance regulations, including requirements for algorithmic transparency, content labeling, and safety evaluations of frontier models before deployment.
The picture of China as a rogue actor unwilling to engage on AI governance is factually incorrect. China has strong reasons to want AI development to go well: its leadership is not immune to existential risk, its economy depends on technological stability, and a global AI catastrophe would destroy the prosperity that four decades of reform have built. The foundation for engagement exists. What is needed is the international framework that makes it concrete.
La lógica de "debemos correr para mantenernos a la cabeza" supone que ser el primero produce la capacidad de controlar el resultado. Pero ocurre lo contrario: cuanto más rápido avanza el desarrollo, bajo presión competitiva y tomando atajos, menos probable es que el sistema resultante sea seguro, independientemente de quién lo haya construido.
A US lab that races to AGI under competitive pressure and without adequate safety evaluation does not produce a safe AGI that serves US interests. It produces an unsafe AGI that threatens everyone, including the United States. Competitive framing encourages exactly the development practices that make misalignment most likely. The race dynamic accelerates precisely the outcome everyone fears.
Una objeción persistente a los tratados de IA es que no pueden verificarse. Esta afirmación es más débil de lo que parece. El hardware necesario para entrenar modelos de IA de vanguardia pasa por uno de los puntos de estrangulamiento más concentrados de cualquier tecnología en la historia.
TSMC fabricates virtually all cutting-edge AI chips. ASML makes the only lithography machines capable of producing those chips. NVIDIA designs the dominant GPU architecture. All three companies are in Allied countries or under Allied export control jurisdiction. The United States government already attempts to restrict the flow of advanced AI chips to China through export controls. A treaty-based compute monitoring regime would formalize and extend what is already being done unilaterally. Verification is an engineering problem. Engineering problems have solutions.
El problema más profundo con el argumento de China es su función del mundo real, no su precisión sobre China. El argumento se utiliza para justificar no hacer nada en absoluto: ninguna regulación nacional, ningún compromiso internacional, ningún requisito de seguridad, ningún marco de responsabilidad, ningún gobierno de ningún tipo.
If the answer to every AI safety proposal is "but China," then no action is ever possible. This is a veto dressed in geopolitical language. It serves the interests of the companies racing to build AGI, who benefit from a political environment so paralyzed by competitive anxiety that no binding rules can ever be enacted. The China argument is real. The way it is deployed is a strategy for permanent inaction. We should not accept it as such.
Algunas de las líneas más fuertes contra la superinteligencia gobernante no son predicciones cuidadosas. Son movimientos psicológicos. Abra cualquier artículo para el movimiento, y el mostrador.
Esto se aprende impotencia vestida como realismo. Si el resultado es fijo, el esfuerzo es inútil, así que deja de organizarse. Los historiadores llaman a un primo cercano de esta "falsa finalidad": tratar una elección política en vivo como ya se ha establecido para que el público nunca lo intente. Las armas nucleares también se llaman inevitables para todos los estados que puedan pagarlas. La mayoría nunca los consiguió. El Protocolo de Montreal fue llamado imposible hasta que no lo fue.
Una tecnología es inevitable sólo si la gente sigue optando por construirla y se niega a unirse entre sí. Es una elección, no una ley de física. La gente que dice "inevitable" lo más fuerte a menudo significa ganar de su pasividad.
Esto convierte un problema de coordinación en un discurso de rendición. Supone que el rival es una caricatura que nunca se unirá a un alto verificado, y que sus únicas opciones son la raza o el abandono. Los adversarios con peor sangre entre ellos todavía congelaban toda clase de armas cuando el suicidio mutuo era la alternativa. Parar los CFC no terminó la refrigeración. Parar la superinteligencia no termina útil AI.
Etiqueta a la persona para que nunca tengas que responder a la reclamación. Llame a alguien un doomer y la sala está invitada a desestimar el argumento como un tipo de personalidad. El mismo movimiento se ha utilizado contra los cinturones, los límites del tabaco y la ciencia climática. No es un caso de seguridad. "Doomer" no es un argumento →
Apelación a la autoridad sin la autoridad. Muchas de las personas más cercanas a la obra, incluyendo a Geoffrey Hinton y Yoshua Bengio, han dicho que el riesgo es real y no gestionado. Los equipos de seguridad interna se sientan dentro de empresas cuyos incentivos recompensan el envío. "Confía en nosotros" no es la verificación. La verificación es inspectores, umbrales y costos para engañar.
Otra forma de pasividad condicionada. Si la ventana ya está cerrada, puede saltarse el duro trabajo de la política. La capacidad se mueve rápido. La labor de los tratados sigue abierta, y la capacitación en la frontera sigue atravesando una lista corta de creadores de chips y fabs. Tarde no es lo mismo que otra vez. Actuar como si se hubiera acabado es cómo se acaba.
Estados Unidos y la Unión Soviética compitieron intensamente en todas las dimensiones del poder durante la Guerra Fría y simultáneamente construyeron una arquitectura de control de armas que evitó la aniquilación nuclear. Las dos cosas coexistieron porque ambas partes reconocieron que algunos resultados fueron peores para todos, independientemente de quién los causó.
The same logic applies to AI. The United States and China can compete on AI applications, on economic deployment, on research and development, while simultaneously agreeing that certain categories of AI development (specifically systems whose capabilities exceed human intelligence across all domains and whose alignment cannot be verified) should not be built by either side without multilateral verification frameworks in place.
Esta es exactamente la posición que se tomó con éxito sobre las armas nucleares. Las personas que negociaron los tratados NPT y SALT no eran idealistas ingenuos sobre las intenciones soviéticas. Eran realistas de cabeza dura que entendían que la aniquilación mutua no era de interés de ninguno de los dos, independientemente de la ideología.
We advocate for the same hard-headed realism on AI. China and the United States both face the same existential risk from misaligned superintelligence. A treaty that prevents both from building it without adequate safety verification serves the interests of both. The negotiation will be difficult. The alternative (a race to build the most consequential and potentially dangerous technology in history with no governance and no safety verification) is worse for everyone, including the parties who say they want to win.
La tarea es buscar la coordinación internacional con la misma determinación que produjo la Los tratados de no proliferación nuclear, las convenciones sobre armas químicas y los acuerdos sobre el ozono.. Antes se hacía con los adversarios. Se puede volver a hacer.
Lea nuestro plan completo →Únase a quienes están defendiendo la gobernabilidad antes de que sea demasiado tarde.