Casi todos los que trabajan en la seguridad de AI en público han sido llamados un doomer. La etiqueta llega antes de que el argumento lo haga, antes de una palabra sobre probabilidades o plazos o qué "control" significaría incluso. Las personas que plantean el riesgo a menudo obtienen una etiqueta primero: asustado, antifuturo, doomer. La etiqueta te permite saltarte el debate.
La jugada más eficaz del bando aceleracionista es un nombre, no un argumento.
De dónde viene la palabra
Alrededor de 2022 y 2023, el debate sobre la seguridad de la IA dejó de ser una conversación interna entre investigadores y se extendió a las redes sociales, donde los argumentos forman equipos y los equipos reciben nombres. El bando aceleracionista (personas que creen que la IA debe construirse lo más rápido posible) adoptó el sufijo «e/acc» como insignia y lo incluyó en sus nombres de usuario. Necesitaban un nombre para el otro lado también. «Doomer» fue el elegido, normalmente emparejado con «decel», abreviatura de deceleración, el pecado de querer ir más despacio.
El estado de ánimo se endureció en octubre, cuando Marc Andreessen publicó "El Manifiesto Techno-Optimista". Lee menos como un argumento que un credo, e incluye una lista de lo que llama al enemigo, entre las entradas, "riesgo existencial" y "el principio de precaución", la idea clara de que usted podría querer entender una tecnología poderosa antes de implementarla a escala. Una vez que la preocupación misma se presenta bajo "el enemigo", la gente que la sostiene necesita sólo una etiqueta más corta para uso diario. "Doomer" hizo el resto, en lugar del caso acelerado.
¿Qué hace realmente la etiqueta?
Un alarmista es un personaje, no un argumento. Convierte una discusión en un tipo de personalidad, y a los tipos de personalidad no hay que responderles, solo diagnosticarlos.
El lado de la seguridad está diciendo que la posibilidad de catástrofe de un sistema superinteligente es lo suficientemente alta (no lo suficientemente segura, lo suficientemente alta) que debemos construir la capacidad de controlar estos sistemas antes de construir los sistemas. Puedes empujar por todas partes de eso. Usted puede argumentar que la probabilidad es menor de lo que pensamos, que el plazo es más largo, que el "control" es el marco equivocado, que la gobernanza hará más daño que el riesgo que aborda.
«Doomer» lo salta. La palabra dice: usted es el tipo de persona que le tiene miedo al mañana. Su posición es un estado de ánimo, no una tesis, y los estados de ánimo no necesitan refutación: la maniobra retórica más antigua, el argumento contra la persona en lugar de contra el punto, con ropa nueva. Su elegancia radica en que nunca tiene que tocar el desacuerdo real. Traslada toda la pelea de «¿es esto cierto?» a «¿qué clase de persona cree esto?», donde el aceleracionista ya decidió la respuesta.
La palabra convierte un argumento en un tipo de personalidad, y los tipos de personalidad no tienen que ser respondidos, solo diagnosticados.
Por qué impacta
La etiqueta funciona porque se basa en cosas que la gente ya quiere creer de sí misma.
Empieza por lo obvio: nadie quiere ser el pesimista. El optimismo se lee como confianza y empuje; la cautela se lee como timidez y miedo. Enmarca la elección como constructor versus agorero y la mayoría de la gente ya sabe en qué silla preferiría sentarse. El encuadre ha hecho su trabajo antes de que llegue un solo hecho a la mesa.
Se basa en una historia que América cuenta de sí misma. El progreso es bueno. La gente que temía el ferrocarril, la prensa de impresión, la luz eléctrica estaban equivocadas, y la historia los recuerda como tontos. El aceleracionista saca esa historia del todo del estante y lanza al defensor de seguridad como el nombre más nuevo de la lista de personas asustadas que serán avergonzadas por el futuro. El movimiento es asumir, sin argumentos, que es verdad de nuevo esta vez, que la superinteligencia es la imprenta y no algo nuevo. Si es la misma historia es toda la pregunta, y la etiqueta existe para que la pregunta nunca se haga.
A quién va dirigida la palabra
Alinea a las personas a las que se les lanza y la caricatura se desmorona en tus manos.
Geoffrey Hinton dejó Google en 2023 para que pudiera hablar del riesgo sin una mente corporativa; él está tan cerca de un padre fundador como el campo tiene. Yoshua Bengio, entre los investigadores más recitados vivos, llegó a la misma preocupación de su propio trabajo. En mayo de 2023, cientos de científicos y ejecutivos (incluidos los líderes de los laboratorios sprinting para construir la tecnología) pusieron sus nombres en una declaración colocando el riesgo de extinción de AI en la misma categoría que la pandemias y la guerra nuclear. No tienen miedo de la tecnología. Construyeron este. Lo que quieras llamar a su posición, "aterrado del futuro" no es una descripción de ella, es una manera de no escucharla.
La palabra también aplana un amplio espectro hasta un punto. Hay una enorme distancia entre alguien que piensa que la catástrofe es casi segura y alguien que lo pone a un par de por ciento y quiere seguro de todos modos, la distancia entre un profeta y un actuario. Ambos son condenados. La etiqueta no puede ver la diferencia porque nunca se construyó a; su trabajo es hacer un conjunto técnico, variado, a menudo bastante moderado de vistas parecen un culto de ojos salvajes. El verdadero rango de estimaciones de expertos es lo que la etiqueta está diseñada para borrar.
El indicio
Un movimiento confiado en su respuesta a la pregunta de seguridad no necesitaría un apodo para la gente que lo hace.
Si el riesgo catastrófico realmente está cerca de cero, esa es una afirmación que usted puede defender a la vista. Muestra el razonamiento. Explique por qué los investigadores que construyeron los sistemas están equivocados sobre los sistemas que construyeron. Hacer el caso que la alineación resulta ser fácil, o que una mayor inteligencia proporciona un mayor cuidado, o que la carrera entre laboratorios se corrige de alguna manera antes de que alguien corte un rincón fatal.
La palabra «doomer» es lo que llena el espacio donde ese argumento debería estar. Recurres a una etiqueta cuando prefieres no abordar el punto. Nombrar a tu oponente es más barato que refutarlo, y desde lejos parece suficiente victoria como para que la multitud a menudo no distinga cuál acaba de presenciar.
Cómo responderlo
Rechaza el marco. En el instante en que la conversación se convierte en constructor versus agorero, la sustancia ya ha salido de la habitación. Devuélvela al nivel del objeto con una sola pregunta: ¿qué probabilidad le estás asignando al riesgo catastrófico, y por qué ese número? Casi nadie que blande la palabra como arma puede responder, porque la palabra está ahí precisamente para que nunca haya tenido que hacerlo. Si quieres ver cómo se construye realmente ese número en lugar de afirmarlo, elaboramos un P(catástrofe) calculadora que desglosa los elementos.
Entonces saca la etiqueta de la reclamación. "Doomer" grapa una caricatura (un pesimista adicto al gloom que odia el progreso) en una reclamación que suele ser mucho más estrecha y muy difícil: que esta tecnología en particular conlleva un riesgo particular que justifica un cuidado particular. Muévelos. El argumento para el buen futuro pasa directamente por hacer bien esta parte, no rodeándola.
Cuando lo más fuerte que un movimiento puede hacer contra sus críticos es ponerles un nombre poco favorecedor, no tiene respuesta al riesgo. Nuestra tesis se reduce a esto: la superinteligencia no se puede revertir, así que no la construyes.