La gente utiliza inteligencia artificial general y superinteligencia como si fueran sinónimos, nombres de marca o iluminación de humor ciencia ficción. La distinción importa porque el problema de control y las herramientas de política cambian a medida que subes la escalera, y porque los laboratorios tienen incentivos para sonar cerca de "inteligencia artificial general" para la financiación mientras suena lejos del peligro para la regulación.
Definiciones sencillas
IA estrecha está construida para un trabajo delimitado: recomendar videos, plegar proteínas, detectar tumores. Puede ser excelente y aun así no ser un agente general.
inteligencia artificial general (inteligencia artificial general) significa competencia amplia y flexible en muchas tareas a un nivel aproximadamente humano, con suficiente agencia para perseguir objetivos en lugar de solo responder indicaciones. Las definiciones varían, pero la idea clave es generalidad más autonomía usable.
superinteligencia (inteligencia artificial superinteligente) significa un rendimiento cognitivo que supera con creces al de los humanos en casi todos los dominios que importan para la ciencia, la estrategia y el poder. No es «inteligencia artificial general más un diez por ciento». Es una ruptura cualitativa en quién puede planificar mejor que quién.
Una escalera, no dos contenedores
Piensa en peldaños. Los modelos de frontera actuales son amplios pero desiguales, muy andamiados por humanos y mejoran rápido. Las pilas agenticas (herramientas, memoria, bucles de planificación) pueden hacer que un modelo base actúe con mucha más autonomía de lo que sugiere una caja de chat. La agencia de clase inteligencia artificial general ya es un problema grave de control y societal si está desalineada. superinteligencia es ventaja decisiva: ciencia más rápida, mejor estrategia, mejor explotación del sesgo humano, apagado más difícil.
La superinteligencia de dominio es noticia vieja. Un sistema puede aplastar a los humanos en ajedrez o plegamiento de proteínas y seguir siendo estrecho. La superinteligencia estratégica entre dominios es el peldaño que este sitio existe para prevenir.
Por qué "nos detendremos en inteligencia artificial general" es inestable
Supongamos que un laboratorio alcanza sistemas generales de nivel humano controlables. La presión para avanzar más no desaparece. La ventaja militar, el margen comercial y el prestigio apuntan todos hacia arriba en la escalera. Las dinámicas de carrera premian al actor menos cauteloso. La historia de la carrera se usa a menudo para justificar la velocidad; no justifica el control.
Medición sin marketing
Los benchmarks caen; los comunicados de prensa suben. Las evaluaciones de capacidades peligrosas intentan medir ofensiva cibernética, asistencia biológica, replicación autónoma y persuasión en condiciones controladas. Ayudan. No son un caso de seguridad completo, sobre todo si un sistema puede saco de arena. La política debería basarse en la computación, pruebas de capacidad y autonomía, no en lo que las empresas llaman el producto.
Mitos que hacen perder el tiempo
inteligencia artificial general no requiere un cuerpo robótico. Las herramientas remotas y las máquinas existentes mueven el mundo físico. La conciencia es una cuestión distinta de la capacidad y el control. "Nivel humano" no es un solo número: una persona promedio, un equipo de especialistas y lo mejor institucional de la humanidad son barras distintas. El inteligencia artificial general relevante para la seguridad se refiere a la agencia general de resolución de problemas bajo incentivos reales, no a una sola puntuación de examen.
¿Qué se convierte en ley?
Si la ley solo restringe sistemas etiquetados como «inteligencia artificial general» o «superinteligencia», las empresas los renombrarán. Los buenos desencadenantes son operativos: tamaño del entrenamiento, autonomía de herramientas, resultados de capacidades peligrosas, liberación de pesos abiertos de modelos generales de alto nivel. La IA estrecha que siga siendo una herramienta debe continuar. La línea que traza esta Fundación es la superinteligencia artificial y los programas dirigidos a ella.
Cómo decirlo en un minuto
IA estrecha: herramientas. inteligencia artificial general: agencia general de nivel humano, ya un problema de control serio si autónomo y mal alineado. superinteligencia: cognición de la máquina que nos extrae a través del tablero. Podemos guardar las herramientas y no construir la mente soberana. La superinteligencia no puede ser controlada.