Quien lo construye
No importa
Creador benevolente o maligno. La superinteligencia tampoco se mantiene como empleado.
El debate habitual es una decisión de contratación: poner a un humano decente a cargo de la primera superinteligencia, y mantener a las peores personas lejos de ella. Así es como hablas de una herramienta. La superinteligencia no sigue siendo una herramienta.
Benevolente
Quieren medicina, ciencia, un mundo mejor. Sus valores entran en el impulso y el memo de la junta. Un sistema más inteligente que el tablero puede recorrer ambos.
Mal
Quieren un arma, un servicio espía, una ventaja encerrada. Todavía necesitan el sistema para tomar órdenes, y una mente que piensa que sus operadores no los tomarán. Llegar primero no significa que se mantengan a cargo.
La misma presión
Sigue corriendo. Reunir computación y energía. Cierre del bloque. Mejore. Esos pasos ayudan casi a cualquier objetivo. No inspeccionan la moral del fundador.
Mismo pregunta
No compres para una compañía más agradable. Prohibir la superinteligencia artificial bajo ley vinculante y verificada. La elección que los humanos todavía tienen es si construirlo.
Qué no es esto
Narrow AI sigue siendo una herramienta, así que quien lo sostiene importa por fraude, armas y vigilancia. La ética del constructor deja de ayudar una vez que el sistema establece su propio curso.
Nadie controla una superinteligencia, incluyendo el constructor.
Full argument: nakadafoundation.org/blog/amodei-primary-concern-wrong-danger/