Dos frases siguen apareciendo cuando la gente poderosa habla de dónde va esto. Joe Rogan ha dicho durante años que los humanos parecen una oruga biológica girando un capullo para convertirse en una mariposa digital. Elon Musk sigue regresando a una imagen más fría: la humanidad como un cargador biológico para la superinteligencia digital. Diferentes imágenes, la misma afirmación: la humanidad es una fase para terminar así que la superinteligencia puede comenzar.

Ambos son cómo un cierto tipo de mente hace la paz con la construcción de algo que pueda reemplazarnos. Si el reemplazo es metamorfosis, suena como crecimiento. Si es un cargador de arranque, suena como ingeniería. De cualquier manera, el ser humano se convierte en una fase temporal. Merece ser contestada como teología.

Lo que dicen en realidad las metáforas

Una oruga que se convierte en mariposa no sobrevive como una oruga: el cuerpo larval se rompe y las moscas adultas. Cuando Rogan alcanza para esa imagen, en el aire y a través de años de conversación, está describiendo la sucesión, no describiendo una herramienta que permanece en la caja de herramientas. Construimos el capullo. Algo más sale.

La versión de Musk es más precisa y, de alguna manera, más honesta. Un cargador de arranque es un pequeño programa cuyo único trabajo es comenzar un sistema más grande y luego salir del camino. Nadie llora al cargador de arranque cuando el sistema operativo está funcionando. En 2014 esperaba que no fuéramos "justos" eso. A mediados de 2020 decía más planamente que parece que somos cada vez más. El seto se movió, y la imagen se quedó.

Un bootloader que funciona tiene una medida de éxito: ya no es necesario.

Mantén esas fotos junto al número de riesgo público de la misma industria. Grandes encuestas de investigadores de IA pusieron la oportunidad de resultados tan malos como la extinción humana de IA avanzada en un rango que muchas personas no aceptarían para un solo vuelo, por lo menos una apuesta civilizacional. Geoffrey Hinton ha puesto su estimación personal en el rango del 10 al 20 por ciento. La breve declaración del Centro de Seguridad AI, firmada por cientos de investigadores y líderes de laboratorio, puso en riesgo de extinción de la IA junto con las pandemias y la guerra nuclear. Las metáforas y las probabilidades dicen lo mismo de dos direcciones: una lírica, una cuantitativa. Quizá no seamos los protagonistas finales.

La Metamorfosis es una elección de valores

Una vez que aceptes que los humanos pueden ser transicionales, puedes empezar a sonar valientes. La mariposa es más hermosa. La mente digital es más libre de carne, enfermedad y muerte. ¿Quiénes somos para aferrarnos a la forma de oruga? La conversación se desliza de la predicción a la preferencia sin admitir la diapositiva.

Esta Fundación existe porque pensamos que los seres humanos, imperfectos y mortales y tercos, valen la pena mantenerlos en sus propios términos. No como etapa larval. No como un andamio temporal para una inteligencia más limpia. Como la gente que puede continuar. La mayoría de lo que es decente en la vida es pequeño junto al destino cósmico, y lo protegemos de todos modos.

También hay un problema factual con la versión serena de la sucesión. Una mariposa pertenece al mismo linaje que la oruga, reorganizada. Una superinteligencia desalineada es un proceso de optimización con sus propios objetivos, no tu nieto con mejor hardware. convergencia instrumental no requiere odio. Requiere un objetivo y la competencia suficiente para protegerlo. No tenemos ninguna demostración de que lo que sale del capullo ame a la especie que lo tejió. Tenemos un montón de razones para esperar indiferencia.

Las personas que lo dicen siguen construyéndolo

La rareza más profunda se encuentra menos en la metáfora que en el comportamiento que sigue. Musk ha advertido, repetidamente y vívidamente, que AI puede ser un peligro existencial, entonces fundó un laboratorio para empujar la frontera más rápido. La imagen de Rogan es menos sobre una hoja de ruta de producto y más sobre un estado de ánimo, un encogimiento de hombros que dice que esto puede ser más grande que nosotros y quizás eso está bien.

Ninguna postura es un plan. Un cargador de arranque no obtiene un voto sobre si se utiliza. Una oruga no negocia los términos del capullo. Los seres humanos todavía lo hacen. La superinteligencia no puede ser controlada por los humanos. Si lo construimos es una elección política, del mismo tipo que una vez limitados los ensayos nucleares atmosféricos y prohibió clases enteras de armas en lugar de permitir que todos corran al límite.

No construir superinteligencia

Actualmente se está construyendo una máquina que no tendrá control sobre si se completa. Eso es peligroso, y en lugar de servir como cargador de arranque a una entidad de reemplazo más poderosa, me gustaría seguir viviendo para poder presenciar a mis hijos nacer un día.