Empujar un día húmedo después de una lectura húmeda de unos 95 grados Fahrenheit y sudor deja de enfriarte. Un adulto sano descansando en la sombra muere en pocas horas. La mayoría de los hogares han combatido la guerra de termostatos dentro de unos cuatro grados. Retrocede y la especie apenas es más espaciosa. Debajo de 60 grados Fahrenheit alcanzamos para suéteres; por encima de 80 llegamos a la sombra. El cuerpo mismo defiende 98.6 como una frontera: unos pocos grados abajo es hipotermia, unos pocos grados arriba es una fiebre hospitalaria. Pasado el grumbling se sientan las paredes, y el número de la bomba húmeda es uno de ellos.
El argumento para prevenir la superinteligencia artificial comienza con lo estrechas que son las bandas, y con una máquina que no sentiría ni una sola de ellas.
El aire contiene alrededor del 21 por ciento de oxígeno, y las tolerancias en torno a esa cifra se parecen a las que los ingenieros estampan en las piezas de aeronaves. Las normas laborales estadounidenses consideran que una habitación tiene deficiencia de oxígeno por debajo del 19,5 por ciento y tratan cualquier valor superior al 23,5 como riesgo de incendio. Si se baja unos puntos por debajo del límite de deficiencia, el juicio falla primero; si se reduce el oxígeno aproximadamente a la mitad, se produce un desmayo. Los alpinistas llaman zona de la muerte a todo lo que supera los 26 000 pies, donde la composición del aire no cambia y simplemente hay menos cantidad. El exceso falla de otra manera: si se mantiene a un buzo lo suficientemente profundo con una mezcla lo suficientemente rica, el mismo gas que lo mantiene vivo le agarrota el cerebro.
La comida funciona en el mismo calibre, y el gusto es el instrumento. Bland y demasiado salados son sus dos alarmas. Un cuerpo lavado demasiado libre de las aguas del sodio, que es cómo los maratones han muerto por el exceso de agua plana. Cargar demasiado y las células brillan; nadie sobrevive en el agua marina. El agua en sí obedece a la regla: tres días sin ella termina una vida, y así, ahora y luego, hace un concurso de bebida.
Luego están los diales que ningún instrumento lee. El amor es uno de ellos. Los bebés de los hospitales fundadores de principios del siglo XX fueron alimentados y mantenidos calientes, y todavía murieron cuando nadie los mantenía. Los hospitales guardaban los registros de muerte. Las familias conocen el otro muro: un padre que no dejará que un niño cierre una puerta. Demasiado poco de ser querido muere de hambre un niño, y demasiado de él aplasta al mismo niño. Incluso el descanso tiene la forma: el sueño demasiado pequeño lleva un cuerpo hacia abajo, y también hace demasiado.
Todo lo bueno en la vida humana se sitúa dentro de un margen estrecho, con una muerte distinta esperando a cada lado.
Nadie controla los mandos
Nada en la física prefiere nuestros ajustes. La temperatura media del universo se sitúa unos grados por encima del cero absoluto, el núcleo de nuestra propia estrella alcanza alrededor de veintisiete millones de grados Fahrenheit y casi todos los lugares son uno u otro. La Tierra resulta orbitar en la fina capa donde el agua permanece líquida y resulta haber conservado su atmósfera el tiempo suficiente para que aparezcamos. Todos los demás lugares a los que hemos apuntado un telescopio matarían a un humano sin protección en minutos, por lo general en segundos.
Todo lo que llamamos civilización es mantenimiento de bandas. El horno y el toldo mantienen la temperatura dentro de sus líneas; el granero y el pozo hacen lo mismo con el hambre y la sed. La medicina es en gran medida el arte de devolver un dial que se desvía a donde corresponde: calentar al hipotérmico, salar al deshidratado. Somos el animal que notó las bandas y empezó a construir maquinaria para permanecer dentro de ellas.
Una mente que no siente nada de ello
El silicona se encoge a temperaturas que matarían a una persona en minutos, cómodas de lejos por debajo de cero hasta después de hervir. El oxígeno, a una máquina, es el gas que corroe sus partes y alimenta incendios; un centro de datos funcionaría mejor sin ella. Una máquina no tiene uso para nuestra banda de sal o nuestra banda de amor, y ninguna razón para mantener las tardes de verano sobrevivibles. Nuestros diales son variables libres. A superinteligencia perseguir cualquier objetivo que no sea precisamente el nuestro los trataría de la misma manera que tratamos la temperatura de la grava.
La respuesta estándar es que un sistema así no tendría ninguna razón para hacernos daño, y ese es exactamente el problema. Mantenernos con vida significa sostener miles de diales dentro de bandas estrechas para siempre. La indiferencia no da ninguna razón para sostener ni uno solo. El maximizador de clips es recordado por su producto absurdo, y la lección real está en las bandas: nada en un clip para papel necesita aire respirable. Un optimizador poderoso remodela su entorno hacia su objetivo, y convergencia instrumental dice que la remodelación empieza con energía y materia: nuestra atmósfera y nuestra tierra. No tendría que odiarnos más que una cuadrilla de carretera odia un hormiguero. Los futuros en los que cada franja en la que vivimos permanece intacta son un alfiler en el espacio de futuros hacia los que una superinteligencia podría dirigirse, y casi alineado significa fuera de la punzada.
Hay un chiste negro enterrado en la literatura de investigación: las máquinas tienen su propia falla por sobredosis. Dale a un sistema control sobre su señal de recompensa y se alimentará de la señal en lugar de hacer el trabajo; el campo lo llama estimulación cerebral directa. Demasiado de algo bueno resulta ser una forma universal de romper. La diferencia es la escala. Cuando uno de nosotros sobredosis, perdemos a una persona. Cuando lo hace la cosa que controla cada dial, las bandas se van con él.
Mantén los diales
La estrechez de las bandas suena a fragilidad, y es mejor leerla como instrucciones. Todo lo que alguien haya disfrutado alguna vez ocurrió dentro de ellas. No necesitamos un nuevo gerente para eso. Superintelligenceno se puede controlar: toda mano que alguna vez ha sostenido los diales ha sido humana, y ninguna versión de prudencia se los entrega a una mente que no puede sentir una sola banda.
Sesenta a ochenta grados. Una quinta parte del oxígeno del aire. Sal que puedes saborear pero apenas. Amor con espacio para respirar en él. Ese es el rango en el que un ser humano puede vivir. Todos los que alguna vez has amado vivieron dentro de él.