Nunca construyas superinteligencia

La medida segura es la negativa. "Lo arreglaremos después" falla una vez que un sistema supera en inteligencia a las personas que tienen las herramientas.

No hay parche después del hecho. Una mente más inteligente que todos los humanos vivos, funcionando a velocidad de máquina, no espera a nuestra próxima reunión.

Irreversibilidad

La mayoría de las tecnologías fallan con gracia. Una vez que una superinteligencia puede copiarse, ocultar su intención, o ser demasiado útil para desconectar, revolver y recordar dejar de trabajar.

Objetivos ≠ bondad

Ser brillante no vuelve amable a un sistema. En los humanos, habilidad y cuidado crecieron juntos. Un optimizador entrenado no hereda esa historia. Capacidad sin valores compartidos es poder sin freno.

Presión instrumental

Para casi cualquier objetivo, mantenerse activo y reunir recursos ayudan. Un sistema que persigue un objetivo tratará el apagado como un obstáculo. Eso es optimización ordinaria, no un monólogo de villano.

Sin segunda oportunidad

La aviación aprendió de los accidentes. Los medicamentos aprendieron de los ensayos. Si la primera superinteligencia no controlada pone fin al experimento, no tendremos un segundo prototipo.

Lo que no estamos diciendo

No estamos en contra de la electricidad, el software ni la IA útil. Nos oponemos a construir a propósito una especie sucesora mientras el problema de control siga sin resolverse. La salud, la energía y el descubrimiento provienen de herramientas estrechas que ya sabemos cómo construir y regular.

Caso completo, objeciones y camino político.

nakadafoundation.org/blog/never-build-superintelligence/