Las objeciones a gobernar la superinteligencia hacen algo ingenioso. Conceden el peligro ("claro, tal vez sea riesgoso") y luego trasladan en silencio la imposibilidad de la tecnología a la solución. Si el riesgo no puede negarse, tal vez la respuesta pueda hacerse parecer ingenua, o peligrosa en sí misma, o simplemente sin esperanza. El efecto es el mismo que negar el riesgo por completo: no se hace nada.
Las normas ahogarían la innovación y entregarían la ventaja a los imprudentes. Es demasiado pronto. Y, en cualquier caso, las democracias nunca lograrían ponerse de acuerdo. Estos son los argumentos que convierten la preocupación en parálisis.
A continuación están las cinco que más escucho, planteadas con la mayor fuerza posible, porque una refutación a una versión débil no convence a nadie. Una familia relacionada de objeciones (que China no cumplirá, que las empresas se autorregularán, que podemos simplemente apagar un sistema malo) las he respondido en el Página de mitos. Estas cinco se refieren a la gobernanza en sí.
"Gobernar la IA globalmente significa gobierno mundial y tiranía."
Concentrar suficiente autoridad en un cuerpo para controlar la tecnología más poderosa de la Tierra, y usted puede haber construido la maquinaria de exactamente la tiranía que temía de la tecnología. Las personas que desconfian el poder centralizado tienen razón para desconfiarlo.
Pero apunta a una versión de paja de la propuesta. Lo que realmente está sobre la mesa es un régimen estrecho dirigido a una cosa específica: el pequeño número de entrenamientos extraordinariamente grandes capaces de producir un sistema más poderoso que cualquier humano en todos los ámbitos, no una autoridad global sobre la vida cotidiana, ni sobre el software en general, ni sobre el teléfono que llevas en el bolsillo. El modelo es el régimen de no proliferación nuclear o el Convención sobre las Armas Químicas, acuerdos específicos que vigilan el material fisible y los precursores químicos, no gobiernos mundiales que disolvieran el Estado-nación. Nadie piensa que el Organismo Internacional de Energía Atómica dirige el planeta. Monitorea una actividad específica y peligrosa y deja todo lo demás en paz.
El camino más seguro hacia la tiranía permanente es la ausencia de una, no el tratado. Una superinteligencia sin control, o capturada por una sola empresa o Estado que resuelva el control antes que los demás, es el instrumento de dominación más completo que se pueda concebir: un poder que nunca muere, nunca se cansa y puede fijar un conjunto de valores para siempre, más allá de toda esperanza de revuelta o reforma. Todas las tiranías de la historia han terminado porque los tiranos son mortales y su maquinaria es humana. Esta no tiene por qué serlo. Si te asusta el poder sin rendición de cuentas (y debería), una acuerdo exigible impedir que un solo actor se apodere de ese poder es la posición antiautoritaria, no la autoritaria.
"No puedes verificarla. Es solo software en algún servidor."
Los tratados nucleares funcionan, los escépticos de tratados dicen, porque puedes contar ojivas y detectar enriquecimiento; el uranio es físico y raro. Pero un modelo es sólo números. No puedes inspeccionar un archivo. Cualquier acuerdo sería un teatro inaplicable, uniendo a los honestos y no haciendo nada sobre el tramposo.
Suena decisivo hasta que notas que estás verificando lo incorrecto. No vigilas los pesos; vigilas el cómputo que los produce, y la computación es tan física y escasa como el uranio. Entrenar un sistema de frontera requiere decenas de miles de chips especializados funcionando durante meses en una sola instalación, y esa cadena de suministro es uno de los cuellos de botella más estrechos de la economía moderna: esencialmente una empresa neerlandesa fabrica las máquinas de litografía, una empresa taiwanesa fabrica los chips de vanguardia y una empresa estadounidense diseña la arquitectura dominante. Los clústeres que los usan consumen tanta energía que aparecen en los datos de electricidad y en las imágenes satelitales. Puedes contar los chips, rastrear su venta, medir el consumo de energía y observar los edificios. El material fisible se rige exactamente por esta lógica: rastrea la entrada física escasa y el arma no puede construirse en secreto. El manual de verificación ya existe; las entradas aquí resultan ser aún más concentradas. Es un problema de ingeniería, y los problemas de ingeniería tienen soluciones.
"La regulación sofocará la innovación y dejará ganar a los imprudentes."
La forma fuerte: la tecnología avanza porque alguien es libre de construirla, la mayoría de la regulación la escriben personas que no entienden lo que están ralentizando y una mano pesada sobre la IA entregaría la industria más importante del siglo a quien regule menos. Mejor una frontera imperfecta aquí que una impecable en algún lugar hostil.
Nadie serio propone regular "AI". Los sistemas beneficiosos doblando proteínas, leyendo escaneos, tutorizando niños y modelando el clima son herramientas estrechas, controlables, y un acuerdo de superinteligencia los deja completamente solos, que futuro brillante y corriente es la que intentamos proteger. El objetivo es una sola clase peligrosa: entrenamientos que buscan capacidades generales superiores a las nuestras y que nadie sabe aún cómo hacer seguras. Restringir eso no es más «antiinnovación» que las normas sobre ganancia de función son antibiología.
Entonces el punto más difícil, el que la lógica de la carrera nunca confronta. Ir rápido no entrega un seguro superinteligencia antes. Entrega una insegura, y una superinteligencia insegura no sirve al país o empresa que la construyó, los amenaza junto con todos los demás. Cuando las esquinas se cortan bajo presión competitiva, la esquina que se corta es la que habría hecho el sistema controlable. Así que la "innovación" que se defiende aquí es la innovación cuyo punto final más parecido es un sistema que sus propios fabricantes no pueden dirigir. Esa es la el peligro en sí, vistiendo el progreso como un disfraz.
"Es prematuro. No se puede regular algo que no existe."
Esto se siente como madurez. No legisles contra fantasmas; espera hasta que la tecnología sea real, entiende con qué estás lidiando y luego escribe reglas ajustadas a los hechos en lugar de a la especulación. Regular hipotéticos es la forma de obtener malas leyes.
Sería una medida sensata para casi cualquier otra tecnología. Es una trampa para esta, y la razón es el tiempo. Los gobiernos son lentos: el Tratado de No Proliferación Nuclear tardó años en negociarse y el Protocolo de Montreal tardó aún más en surtir efecto, y esos fueron los más rápidos. Si se espera a que exista claramente un sistema superhumano para empezar a construir las instituciones que lo gobiernen, las instituciones llegarán años después de aquello que debían contener, y esta es la única tecnología cuyo el primer fallo grave puede dejar a nadie para aprobar la segunda ley. "Espera la prueba" es una regla sensata cuando la prueba es sobrevivible. Aquí la prueba es la catástrofe. La lógica de precaución es el reconocimiento de que el tiempo principal para la cura es más largo que el fusible en el problema.
Toda salvaguarda viable para una tecnología catastrófica se construyó antes o durante su ascenso, nunca después, porque «después» nunca estuvo disponible.
"Las democracias son demasiado lentas y capturadas. Nunca pasará."
El más silencioso corrosivo de los cinco, porque lleva el abrigo del realismo. El candado, el cabildeo, la poca atención de las legislaturas, el alcance del dinero de la industria. Incluso si un tratado fuera sabio, la maquinaria para producirlo está rota. Mejor ser clara de ojos que perder una década en una fantasía.
Es refutado por el registro histórico, repetidamente, y generalmente contra peores probabilidades de lo que enfrentamos ahora. La idea de que los poderes rivales firmarían sus opciones más mortíferas se llamaba ingenua, hasta que lo hicieron, en el Tratado de No Proliferación, las Convenciones sobre Armas Biológicas y Químicas, el Protocolo de Montreal, el Tratado Antártico. Adversarios que libraban guerras proxy y se llamaban mutuamente malvados aún construyeron control verificado de armas en lo más alto de la Guerra Fría. Cada uno de esos parecía imposible desde el lado cercano e inevitable solo en retrospectiva.
Y el terreno es más favorable de lo que admite el cinismo. A través de Estados Unidos, el Reino Unido y el EU, grandes mayorías ya les dicen a los encuestadores que quieren que la IA se desarrolle con cautela y se someta a reglas estrictas; el público no es el obstáculo. El obstáculo es que esa preocupación generalizada y silenciosa aún no se ha organizado en una presión que una legislatura pueda sentir. El obstáculo es una trabajo: convertir el acuerdo latente en voluntad política. Que es precisamente el trabajo que tenemos por delante.
¿Qué tienen en común los cinco?
Cada objeción admite el peligro y luego encuentra un lugar diferente para renunciar: la solución es demasiado grande, o inverificable, o demasiado costoso, o demasiado temprano, o demasiado difícil de pasar. Cualquiera de ellos, tomada sola, suena como prudencia. Juntos forman una máquina cuyo único producto es la inacción, y la inacción es una opción para permitir que la tecnología más consecuente de la historia se construya sin límites vinculantes en absoluto, por un puñado de empresas competidoras, bajo la presión exacta más probable de producir el resultado que todo el mundo afirma temer, no neutral aquí.
Ninguna de estas cuestiones se resuelve insistiendo en que la gobernanza será fácil. No lo será. La verificación será controvertida, las negociaciones serán lentas y algunos gobiernos se resistirán; todo tratado difícilmente logrado en la historia tuvo esos obstáculos y aun así se construyó. La afirmación honesta es que es posible, que las piezas para construirlo ya existen y que las razones para descartarlo se desmoronan en cuanto se examinan en lugar de repetirse, no que un acuerdo sobre superinteligencia sea sencillo.
"No se puede hacer" ha estado equivocado sobre cada esfuerzo comparable que hemos hecho. La tarea es construir la voluntad política para un acuerdo vinculante y verificado que impida que los sistemas más peligrosos sean construidos hasta que puedan ser seguros. "Por tanto, renunciar" nunca ha sido la respuesta, y no es la respuesta ahora.