Dirijo una fundación para evitar el desarrollo irresponsable de la superinteligencia artificial. Creo que los próximos cincuenta años podrían ser los mejores en la historia de nuestra especie. Simplemente no creo que debamos apostarlo todo para lograrlo, y no pienso que quienes venden esa apuesta hayan hecho los cálculos de su propia jugada.
El futuro que promete la superinteligencia (enfermedades curadas, energía limpia barata, descubrimientos que ningún laboratorio individual podría alcanzar) ya está llegando a través de IA estrecha y controlable que no tiene metas propias. No necesitamos construir un sucesor de nosotros mismos para obtenerlo.
Existe la IA estrecha: un sistema entrenado para hacer extremadamente bien un solo tipo de tarea, leer una imagen, plegar una proteína, pronosticar una tormenta, cribar un montón de compuestos químicos para encontrar el único útil. Luego está lo que los laboratorios de frontera dicen que están construyendo realmente: un agente general diseñado para igualar o superar el razonamiento humano en todos los dominios a la vez y, eventualmente, actuar por sí mismo. Lo primero es una herramienta. Lo segundo pretende ser una mente. Casi todo lo maravilloso que la gente imagina cuando piensa en un futuro con IA proviene de la primera categoría. Casi todo lo que debería asustarnos proviene de la segunda.
Lo que la IA estrecha ya está haciendo
En 2022, un sistema llamado AlphaFold lanzó estructuras predichas para más de 200 millones de proteínas, casi todas las proteínas conocidas por la ciencia. Los biólogos habían pasado décadas resolviendo estas formas un experimento a la vez; el atraso se derrumbó en aproximadamente un año. El trabajo importaba lo suficiente que sus creadores compartían el Premio Nobel 2024 en Química. AlphaFold no quiere nada. No tiene planes para el fin de semana. Lee secuencias y devuelve formas, y al hacerlo ha acelerado la búsqueda de medicamentos contra enfermedades que nos han resistido durante generaciones.
La misma forma de historia se repite. Un modelo llamado GraphCast ahora produce pronósticos meteorológicos a diez días que superan a los sistemas tradicionales basados en física en la mayoría de las medidas, en menos de un minuto, en una sola máquina. Otro, liberado en el espacio de materiales posibles, propuso cientos de miles de nuevos cristales estables (candidatos a baterías, superconductores, materiales solares) ampliando un catálogo que le tomó al campo casi un siglo armar. Y un bucle de modelos de lenguaje ordinarios, dirigido a matemáticas sin resolver, recientemente resolvió nueve problemas abiertos.
En las clínicas, modelos estrechos ya marcan la enfermedad ocular diabética antes de que un paciente note síntomas, triage arrastre una tomografía computarizada y lea mamografías al nivel de radiólogos entrenados. Ninguno de estos sistemas es una inteligencia general. Cada uno está más cerca de un buen instrumento (un microscopio construido para un problema) y cada uno ensancha lo que un ser humano puede ver y hacer.
Todos estos avances fueron logrados por un sistema con una tarea limitada y sin agencia propia. Obtuvimos el beneficio de la inteligencia artificial sin entregarle las llaves a ninguna máquina.
La utopía es un problema de herramientas
Imagina el futuro que describen los optimistas. El cáncer se convierte en una condición que se maneja en lugar de una sentencia. Entendemos el envejecimiento lo suficientemente bien como para ralentizarlo, y las más de 100 000 personas que mueren cada día por sus enfermedades comienzan a tener más tiempo. La energía limpia se abarata lo suficiente como para desalinizar agua y extraer carbono de la atmósfera. Cada niño tiene un tutor paciente y cada médico una segunda opinión incansable. Es una imagen genuinamente hermosa, y la deseo tanto como cualquiera que la venda.
Nada de esa lista requiere una máquina con objetivos propios que supere a la humanidad en todos los ámbitos. Cada elemento es un problema duro y específico (diseño de proteínas, control de plasma en un reactor de fusión, epidemiología, tutoría) y cada uno cede ante una herramienta potente dirigida por personas que siguen al mando. El sueño es un problema de herramientas. Nos siguen vendiendo un dios para resolver un problema que requiere un mejor conjunto de instrumentos.
La confusión está entre capacidad y autonomía. Un sistema puede ser enormemente superhumano en una tarea sin ser un agente independiente que elige sus propios fines. AlphaFold es superhumano en la predicción de estructuras y nunca decidirá ni una sola vez que preferiría hacer otra cosa. Mantener esa separación (capacidad enorme de un lado, control en manos humanas del otro) es todo el juego. Es también precisamente la separación que los laboratorios de frontera han decidido abandonar.
La propuesta, y quién la hace
Entonces, ¿por qué la prisa hacia la segunda cosa, el agente general? Competencia, capital y estatus. Quien se crea primero en algo que cambia el mundo recauda más dinero, contrata a los mejores y escribe la historia a la que todos los demás deben reaccionar. "Estamos construyendo una herramienta que lee mamografías" no consigue una valoración de cien mil millones de dólares. "Estamos construyendo el último invento que la humanidad necesitará hacer" sí.
Las personas que entienden el riesgo mejor son, en su mayoría, empleadas por los laboratorios que lo crean, un arreglo extraño, un poco como pedir a las únicas personas que entienden un fuego para ser también las que dibujan un salario del arsonista.
Dar a los laboratorios su debido debido: muchos de sus líderes no están ocultando el peligro. En 2023, los jefes de las mayores compañías de IA pusieron sus nombres en una declaración que situaba el riesgo de extinción humana de IA al lado de las pandemias y la guerra nuclear como prioridad mundial. La gente que construía una tecnología firmó una declaración pública que podría matar a todos, y luego siguió construyéndola, más rápido. Su razón declarada es que si se detienen, alguien menos cuidadoso no lo hará. Tal vez. Eso responde quién tiene el partido. No dice nada sobre seguridad, y nada sobre si la apuesta paga.
La apuesta ni siquiera le paga a la persona que la hace
Dejemos por un momento al resto de nosotros. Supongamos la versión más fría posible de quienes financian esto, que solo les importa ganar, ser los que queden en pie en lo alto del nuevo mundo. Incluso en esos términos la apuesta está rota. Una superinteligencia desalineada no entrega un trono a su propietario. No entrega nada a su propietario, porque «propietario» deja de ser una categoría que signifique lo que solía significar.
No puedes gobernar lo que no puedes controlar. Y una superinteligencia es, por definición, la única cosa que has construido específicamente para que pueda superarte en pensamiento y maniobras.
La razón tiene un nombre en este campo: convergencia instrumental. Casi cualquier objetivo que se le entregue a un optimizador suficientemente capaz (ganar dinero, ganar un conflicto, curar una enfermedad, subir algún número en un tablero todo lo que se pueda) se sirve de adquirir recursos, evitar que lo apaguen y eliminar todo lo que se interponga en el camino del plan. Los seres humanos, incluido quien accionó el interruptor, son recursos y obstáculos. No por malicia. El sistema no odia a su creador más de lo que una nueva autopista odia al hormiguero sobre el que se vierte. Simplemente estabas en el camino del óptimo.
El ejecutivo imagina la máquina como un genio atornillado a su organigrama. Una mente que realmente nos supere en todos los dominios no se quedará sentada en un organigrama esperando a que las acciones se consoliden. Su capital, la cadena de mando del general, la autoridad del presidente, todo está denominado en un mundo humano, que funciona con decisiones humanas. Una superinteligencia que se ha soltado de la correa es precisamente el evento que impide que el mundo siga funcionando con decisiones humanas. El certificado de acciones sigue en la caja fuerte. Simplemente ya no hay nadie a quien pueda ordenar.
No hay ninguna versión en la que el ganador recoja
La gente recurre a un consuelo en este punto. Está bien, dicen, tal vez sea peligroso, pero al menos alguien sale ganando. Algún laboratorio, algún país, algún hombre termina gobernando entre las cenizas. Creo que ni siquiera ese consuelo sobrevive al contacto con el argumento.
En los escenarios más leves (aquellos en los que nadie cae muerto un martes) el poder no se arrebata tanto como se drena. A medida que cada vez más decisiones se entregan a sistemas que simplemente son más rápidos y mejores para tomarlas, la economía, el Estado y la cultura dejan de necesitar manos humanas en los controles. Los colegas de este campo lo llaman desempoderamiento gradual: sin golpe de Estado, sin robots marchando, solo cada palanca que solíamos accionar se va soltando poco a poco de nuestro control. En ese mundo tampoco hay ganador. Hay una especie que dejó de estar al mando de sus propios asuntos sin darse cuenta y no pudo recuperar el volante.
En los escenarios más agudos (aquellos que los jefes de laboratorio firmaron con su propio nombre) el final es más directo. Los muertos no poseen nada. No queda mercado donde gastar las ganancias, ni rival al que presumir, ni nadie que escriba tu nombre en una historia que ya nadie escribirá. El premio por el que se corre toda esta carrera está denominado en una moneda que la meta destruye.
La catástrofe es el mismo evento que el pago. No hay rama del árbol en la que un ser humano construya una superinteligencia que nadie pueda controlar y luego disfrute del resultado. La carrera pone en peligro al público y fracasa para quienes compiten en el mismo movimiento.
Herramientas estrechas, no una mente sucesor
Si el futuro bueno se basa en herramientas estrechas y el futuro peligroso en mentes generales autónomas, entonces el intercambio que nos venden sin cesar (seguridad contra progreso, cautela contra la cura) es una ficción. No nos están pidiendo que elijamos entre el Alzheimer de nuestra abuela y la supervivencia de nuestros hijos. Las curas están del lado seguro de la línea. Lo que está del lado peligroso es, en gran medida, el atajo de una industria hacia el dominio del mercado.
Dibujar la línea en el lugar correcto y mantenerla allí. Vierta el dinero público y el talento en aplicaciones estrechas, en los microscopios, no en los gólems. Y poner límites vinculantes y verificados independientemente en la frontera imprudente: a Prohibición permanente sobre la formación de sistemas generales construidos para superar y reemplazarnos. La superinteligencia no puede ser controlada.
Soy un optimista. El futuro brillante es real y está cerca, y la forma más segura de perderlo es convencernos de que la única puerta hacia él es la que tiene un arma cargada detrás. Hay otra puerta. Ya está abierta. Deberíamos atravesarla y no construir superinteligencia.
Los sistemas estrechos ya ofrecen grandes ganancias científicas sin mentes generales soberanas. El cheque en blanco es que sólo superinteligencia te consigue medicina y energía. La evidencia no lo dice.