Poussez une journée humide après une lecture humide d'environ 95 degrés Fahrenheit et la sueur cesse de vous refroidir. Un adulte sain qui se repose à l'ombre meurt en quelques heures. La plupart des ménages ont combattu la guerre du thermostat à environ quatre degrés. Retirez-vous et l'espèce est à peine plus spacieuse. En dessous de 60 degrés Fahrenheit nous atteignons pour les pulls; au-dessus de 80 nous atteignons pour l'ombre. Le corps lui-même défend 98.6 comme une frontière: quelques degrés en bas est l'hypothermie, quelques degrés en haut est une fièvre hospitalière. Après le grondement, les murs sont assis, et le nombre de bulles humides est l'un d'entre eux.

L’argument pour empêcher la superintelligence artificielle commence par l’étroitesse des marges et par une machine qui n’en ressentirait aucune.

L’air contient environ 21 % d’oxygène, et les tolérances autour de ce chiffre ressemblent à celles que les ingénieurs apposent sur les pièces d’avion. Les règles américaines sur les lieux de travail considèrent une pièce comme appauvrie en oxygène en dessous de 19,5 % et traitent tout ce qui dépasse 23,5 % comme un risque d’incendie. Quelques points sous la ligne de carence et le jugement disparaît en premier ; réduire l’oxygène de moitié environ et on perd connaissance. Les alpinistes appellent « zone de la mort » tout ce qui dépasse 8 000 mètres, où la composition de l’air reste inchangée mais où il y en a simplement moins. Trop d’oxygène échoue autrement : maintenez un plongeur assez profond dans un mélange assez riche et le même gaz qui le maintient en vie lui saisit le cerveau.

La nourriture fonctionne sur la même jauge, et le goût est l'instrument. Bland et trop salé sont ses deux alarmes. Un corps lavé trop exempt de saisies de sodium, ce qui est la façon dont les marathons sont morts de la surconsommation d'eau pure. Chargez trop et les cellules se raclent à la place; personne ne survit à l'eau de mer. L'eau elle-même obéit à la règle: trois jours sans elle finit une vie, et ainsi, de temps en temps, fait un concours de boisson.

Puis il y a les cadrans qu'aucun instrument ne lit. L'amour en fait partie. Les nourrissons des hôpitaux du début du XXe siècle ont été nourris et gardés au chaud, et ils sont morts quand personne ne les tenait. Les hôpitaux gardaient les dossiers de décès. Les familles connaissent l'autre mur : un parent qui ne laissera pas un enfant fermer une porte. Trop peu de vouloir mourir de faim un enfant, et trop d'elle écrase le même enfant. Même le repos a la forme: trop peu de sommeil porte un corps vers le bas, et aussi beaucoup trop.

Tout ce qu'il y a de bon dans une vie humaine se trouve dans une bande étroite, avec une mort différente qui attend de chaque côté.

Personne ne tient les commandes

Rien en physique ne privilégie nos réglages. La température moyenne de l’univers se situe quelques degrés au-dessus du zéro absolu, le cœur de notre propre étoile tourne autour de vingt-sept millions de degrés Fahrenheit, et presque partout c’est l’un ou l’autre. La Terre se trouve en orbite dans la fine coquille où l’eau reste liquide, et a conservé son atmosphère assez longtemps pour que nous apparaissions. Partout ailleurs où nous avons pointé un télescope, un humain non protégé mourrait en quelques minutes, généralement en quelques secondes.

Tout ce que nous appelons civilisation est maintien dans la bande. Le fourneau et l'auvent maintiennent la température dans ses limites ; le grenier et le puits font de même pour la faim et la soif. La médecine est en grande partie l'art de ramener un cadran qui s'égare à sa place : réchauffer l'hypothermique, saler le déshydraté. Nous sommes l'animal qui a remarqué les bandes et a commencé à construire des machines pour y rester.

Un esprit qui n'en ressent rien

Le silicone s'élève à des températures qui tueraient une personne en quelques minutes, à l'aise de loin au-dessous de zéro jusqu'à l'ébullition bien passée. L'oxygène, pour une machine, est le gaz qui corrode ses pièces et alimente les incendies; un centre de données fonctionnerait mieux sans lui. Une machine n'a aucun usage pour notre bande de sel ou notre bande d'amour, et aucune raison de garder l'après-midi d'été survivable. Nos cadrans sont des variables gratuites. A superintelligence poursuivre tout objectif qui n'est pas précisément le nôtre les traiterait comme nous traitons la température du gravier.

La réponse standard est qu'un tel système n'aurait aucune raison de nous nuire, et c'est précisément le problème. Nous garder en vie suppose de maintenir des milliers de paramètres dans des fourchettes très étroites, pour toujours. L'indifférence ne fournit aucune raison de tenir même un seul de ces paramètres. Le maximiseur de trombones est resté célèbre pour son produit absurde, et la vraie leçon réside dans les bandes : rien dans un trombone n'exige de l'air respirable. Un optimiseur puissant remodèle son environnement en fonction de son objectif, et convergence instrumentale dit que la transformation commence par l’énergie et la matière : notre atmosphère et notre sol. Il n’aurait pas plus besoin de nous haïr qu’une équipe d’autoroute ne hait une fourmilière. Les futurs dans lesquels chaque bande où nous vivons reste intacte ne sont qu’une piqûre d’épingle dans l’espace des futurs qu’une superintelligence pourrait orienter, et presque alignée signifie en dehors de la piqûre.

Il y a une sombre plaisanterie enfouie dans la littérature de recherche : les machines ont leur propre overdose. Donnez à un système une prise sur son signal de récompense et il se nourrira du signal au lieu d'accomplir la tâche ; le domaine appelle cela détournement de récompense. Trop d'une bonne chose s'avère être un moyen universel de tout casser. La différence, c'est l'échelle. Quand l'un de nous fait une overdose, on perd une personne. Quand c'est l'entité qui tient tous les cadrans, les bandes partent avec.

Gardez les cadrans

L'étroitesse des bandes sonne comme de la fragilité, et il vaut mieux la lire comme des instructions. Tout ce que quiconque a jamais apprécié s'est produit à l'intérieur. Nous n'avons pas besoin d'un nouveau gestionnaire pour cela. Superintelligencene peut être contrôlé: chaque main qui a jamais tenu les cadrans a été humaine, et aucune version de la prudence ne les remet à un esprit incapable de sentir une seule bande.

Soixante à quatre-vingts degrés. Un cinquième de l'oxygène de l'air. Du sel que vous pouvez goûter mais à peine. De l'amour avec de la place pour respirer dedans. C'est la gamme dans laquelle un être humain peut vivre. Tous ceux que vous avez jamais aimés ont vécu à l'intérieur.