Drücken Sie einen feuchten Tag nach einer Nassbirne von etwa 95 Grad Fahrenheit und Schweiß hört auf, Sie zu kühlen. Ein gesunder Erwachsener, der im Schatten ruht, stirbt in wenigen Stunden. Die meisten Haushalte haben den Thermostatkrieg innerhalb von etwa vier Grad gekämpft. Ziehen Sie sich zurück und die Art ist kaum geräumiger. Unterhalb von 60 Grad Fahrenheit erreichen wir Pullover; über 80 erreichen wir Schatten. Der Körper selbst verteidigt 98,6 wie eine Grenze: ein paar Grad nach unten ist Hypothermie, ein paar Grad nach oben ist ein Krankenhausfieber. Hinter dem Murren sitzen die Wände, und die Nassbirne Nummer ist einer von ihnen.
Das Argument für die Verhinderung künstlicher Superintelligenz beginnt damit, wie eng die Bänder sind, und mit einer Maschine, die nicht ein einziges davon spüren würde.
Die Luft besteht zu etwa 21 Prozent aus Sauerstoff, und die Toleranzen um diese Zahl ähneln denen, die Ingenieure auf Flugzeugteile stempeln. Amerikanische Arbeitsplatzregeln bezeichnen einen Raum unter 19,5 Prozent als sauerstoffarm und behandeln alles über 23,5 Prozent als Brandgefahr. Sinkt man ein paar Punkte unter die Mangellinie, lässt zuerst das Urteilsvermögen nach; halbiert man den Sauerstoff ungefähr, verliert man das Bewusstsein. Bergsteiger nennen alles über 8000 Meter die Todeszone, wo die Zusammensetzung der Luft unverändert bleibt und es einfach weniger davon gibt. Zu viel versagt anders: Hält man einen Taucher tief genug in einem ausreichend sauerstoffreichen Gemisch, ergreift dasselbe Gas, das ihn am Leben erhält, sein Gehirn.
Essen läuft auf dem gleichen Messgerät, und Geschmack ist das Instrument. Fade und zu salzig sind seine zwei Alarme. Ein Körper, der zu frei von Natrium gespült wurde, beschlagnahmt, so dass Marathonläufer an übertrinkendem klarem Wasser gestorben sind. Laden Sie zu viel und die Zellen schrumpfen stattdessen; niemand überlebt auf Meerwasser. Wasser selbst gehorcht der Regel: Drei Tage ohne es beendet ein Leben, und so, hin und wieder, macht einen Trinkwettbewerb.
Dann gibt es die Zifferblätter, die kein Instrument liest. Die Liebe ist eine davon. Säuglinge in den Findelkrankenhäusern des frühen 20. Jahrhunderts wurden gefüttert und warm gehalten und starben immer noch, wenn niemand sie hielt. Die Krankenhäuser führten die Todesaufzeichnungen. Familien kennen die andere Wand: ein Elternteil, das ein Kind nicht eine Tür schließen lässt. Zu wenig gewollt zu sein hungert ein Kind, und zu viel davon zermalmt dasselbe Kind. Sogar Ruhe hat die Form: Zu wenig Schlaf trägt einen Körper nach unten und so viel zu viel.
Jedes gute Ding im menschlichen Leben sitzt in einem schmalen Band, mit einem anderen Tod, der auf jeder Seite wartet.
Niemand hält die Regler
Nichts in der Physik bevorzugt unsere Einstellungen. Die Durchschnittstemperatur des Universums liegt ein paar Grad über dem absoluten Nullpunkt, der Kern unseres eigenen Sterns erreicht etwa siebenundzwanzig Millionen Grad Fahrenheit, und fast überall herrscht das eine oder das andere. Die Erde kreist zufällig in der dünnen Schale, in der Wasser flüssig bleibt, und hat zufällig lange genug ihre Atmosphäre behalten, damit wir erscheinen konnten. Jeder andere Ort, auf den wir ein Teleskop gerichtet haben, würde einen ungeschützten Menschen in Minuten, meist Sekunden, töten.
Alles, was wir Zivilisation nennen, ist Bandhaltung. Der Ofen und die Markise halten die Temperatur innerhalb ihrer Linien; die Scheune und der Brunnen tun dasselbe für Hunger und Durst. Medizin ist größtenteils die Kunst, einen wandernden Zeiger dorthin zurückzuschieben, wo er hingehört: den Unterkühlten wärmen, den Ausgelaugten salzen. Wir sind das Tier, das die Bänder bemerkte und begann, Maschinen zu bauen, um darin zu bleiben.
Ein Geist, der nichts davon fühlt
Silizium zuckt bei Temperaturen, die eine Person in wenigen Minuten töten würden, bequem von weit unter Null bis weit nach dem Kochen. Sauerstoff ist für eine Maschine das Gas, das seine Teile korrodiert und Feuer speist; ein Rechenzentrum würde ohne es besser laufen. Eine Maschine hat keinen Nutzen für unsere Salzband oder unsere Liebesband und keinen Grund, Sommernachmittage überlebensfähig zu halten. Unsere Zifferblätter sind freie Variablen dazu. A Superintelligenz Jedes Ziel zu verfolgen, das nicht genau unser ist, würde sie so behandeln, wie wir die Temperatur von Kies behandeln.
Die Standardantwort ist, dass ein solches System hätte keinen Grund, uns zu schaden, und genau das ist das Problem. Uns am Leben zu erhalten bedeutet, Tausende von Reglern für immer in engen Bandbreiten zu halten. Gleichgültigkeit liefert keinen Grund, auch nur einen davon zu halten. Die Büroklammer-Maximierer wird wegen seines albernen Produkts erinnert, und die eigentliche Lehre sind die Bänder: Nichts an einer Büroklammer braucht atembare Luft. Ein mächtiger Optimierer formt seine Umgebung auf sein Ziel hin um, und instrumentelle Konvergenz sagt, die Umgestaltung beginnt bei Energie und Materie: unserer Atmosphäre und unserem Land. Es müsste uns nicht mehr hassen als eine Autobahnbaustelle einen Ameisenhaufen. Die Zukünfte, in denen jeder Lebensraum, in dem wir leben, intakt bleibt, sind ein winziger Punkt im Raum der Zukünfte, auf die eine Superintelligenz zusteuern könnte, und fast ausgerichtet bedeutet außerhalb des Nadelstichs.
In der Forschungsliteratur steckt ein dunkler Witz: Die Maschinen haben ihr eigenes Überdosis-Versagen. Gibt man einem System Zugriff auf sein Belohnungssignal, frisst es das Signal statt die Aufgabe zu erledigen; das Feld nennt es Gehirnverdrahtung. Zu viel des Guten erweist sich als universelle Bruchstelle. Der Unterschied ist die Skala. Überdosieren wir, verlieren wir eine Person. Überdosiert das, was alle Regler hält, gehen die Bänder mit.
Behalten Sie die Regler
Die Enge der Bänder klingt nach Zerbrechlichkeit und wird besser als Anleitung gelesen. Alles, was jemand jemals genossen hat, geschah in ihnen. Dafür brauchen wir keinen neuen Manager. Superintelligenz nicht kontrollierbar: Jede Hand, die jemals die Zifferblätter gehalten hat, war menschlich, und keine Version der Klugheit gibt sie einem Geist, der kein einziges Band fühlen kann.
Sechzig bis achtzig Grad. Ein Fünftel des Luftsauerstoffs. Salz kann man schmecken, aber kaum. Liebe mit Raum, um darin zu atmen. Das ist der Bereich, in dem ein Mensch leben kann. Jeder, den du jemals geliebt hast, lebte darin.