Một ngày ẩm ướt trong khi đọc sách về nhiệt độ khoảng 95 độ C và mồ hôi ngừng làm mát bạn. Một người trưởng thành khỏe mạnh nghỉ ngơi dưới bóng râm sẽ chết trong vài giờ. Hầu hết các hộ gia đình đã chiến đấu trong cuộc chiến tranh nhiệt độ bên trong khoảng 4 độ. Rút lui và loài này hầu như không thể ở lâu hơn. Dưới 60 độ F, chúng tôi lấy áo len, trên 80 độ để lấy bóng mát. Cơ thể bảo vệ 98.6 độ giống như biên giới: giảm một vài độ là hạ thân nhiệt, lên vài độ cao là sốt ở bệnh viện. Đi qua bức tường, và số lượng nước mưa là một trong số đó.

Lập luận chống lại siêu trí tuệ nhân tạo nhân tạo bắt đầu từ việc nhận ra các dải giới hạn mỏng manh đến mức nào, và từ một cỗ máy không cảm nhận được bất kỳ dải giới hạn nào trong số đó.

Không khí chứa khoảng 21% oxy, và khoảng dung sai xung quanh con số đó giống như những con số kỹ sư đóng dấu trên linh kiện máy bay. Quy định nơi làm việc của Mỹ coi một phòng thiếu oxy khi dưới 19,5% và coi bất kỳ thứ gì trên 23,5% là nguy cơ cháy. Giảm vài điểm dưới ngưỡng thiếu hụt là khả năng phán đoán bị ảnh hưởng trước tiên; giảm oxy xuống khoảng một nửa là ngất xỉu. Các nhà leo núi gọi mọi thứ trên 26.000 feet là vùng chết, nơi thành phần không khí không đổi mà chỉ đơn giản là ít hơn. Quá nhiều thì thất bại theo cách khác: giữ thợ lặn đủ sâu trong hỗn hợp đủ giàu là cùng một loại khí giữ họ sống sẽ tấn công não họ.

Thức ăn có cùng kích thước, và vị giác là dụng cụ. Bland và quá mặn là hai báo động. Một cơ thể rửa quá không có lượng Natri co giật, đó là cách mà những người chạy đua chết vì nước uống. Nạp quá nhiều và các tế bào trở nên khô cằn; không ai sống sót qua cơn nước biển. Chính nước tuân theo luật lệ: ba ngày mà không có nó sẽ kết thúc một cuộc sống, và thỉnh thoảng, một cuộc thi rượu chè.

Sau đó, có các quay số không nhạc cụ đọc. Tình yêu là một trong số đó. Những trẻ sơ sinh trong các bệnh viện nhỏ vào đầu thế kỷ 20 được cho ăn và giữ ấm, và vẫn chết khi không ai giữ chúng lại. Bệnh viện giữ lại hồ sơ tử vong. Gia đình biết bức tường kia: cha mẹ không cho con đóng cửa. Quá ít bị truy nã làm chết đói một đứa trẻ, và quá nhiều thứ đã nghiền nát cùng một đứa trẻ. Thậm chí nghỉ ngơi có hình dạng: ngủ quá ít làm cơ thể giảm, và vì vậy làm quá nhiều.

Mọi điều tốt đẹp trong cuộc sống con người nằm trong một dải hẹp, với những cái chết khác nhau đang chờ đợi ở hai bên.

Không ai đang nắm giữ các nút điều khiển

Không có gì trong vật lý ưu ái các thiết lập của chúng ta. Nhiệt độ trung bình của vũ trụ chỉ cao hơn không tuyệt đối vài độ, lõi của chính ngôi sao của chúng ta chạy ở khoảng hai mươi bảy triệu độ F, và hầu như mọi nơi đều là một trong hai mức đó. Trái Đất tình cờ quay trong lớp vỏ mỏng nơi nước ở dạng lỏng, và tình cờ giữ được khí quyển đủ lâu để chúng ta xuất hiện. Mọi nơi khác chúng ta đã hướng kính thiên văn vào đều có thể giết chết một con người không được bảo vệ trong vài phút, thường là vài giây.

Tất cả những gì chúng ta gọi là văn minh đều là giữ dải. Lò sưởi và mái che giữ nhiệt độ trong giới hạn; kho thóc và giếng nước làm điều tương tự với đói và khát. Y học chủ yếu là nghệ thuật đẩy một đồng hồ đang lệch trở về vị trí đúng: sưởi ấm người hạ thân nhiệt, bổ sung muối cho người mất nước. Chúng ta là loài động vật nhận ra các dải và bắt đầu xây dựng máy móc để ở trong chúng.

Một tâm trí không cảm nhận được điều đó

Độ ẩm Silicon ở nhiệt độ có thể giết một người chỉ trong vài phút, từ dưới 0 đến quá khứ sôi. Oxy, đối với một cỗ máy, là khí làm mòn các bộ phận và cung cấp lửa; một trung tâm dữ liệu sẽ chạy tốt hơn nếu không có nó. Một cái máy không dùng được cho ban nhạc muối hay ban nhạc tình yêu của chúng ta, và không có lý do gì để giữ những buổi chiều mùa hè tồn tại. Số của chúng ta là số tự do. A siêu trí tuệ theo đuổi bất kỳ mục tiêu nào không chính xác là của chúng ta sẽ đối xử với chúng theo cách chúng ta đối xử với nhiệt độ của sỏi.

Lời đáp thông thường là một hệ thống như vậy sẽ không có lý do gì để làm hại chúng ta, và đó chính là vấn đề. Giữ chúng ta sống có nghĩa là giữ hàng nghìn nút điều chỉnh trong dải hẹp mãi mãi. Sự vô cảm không đưa ra lý do để giữ ngay cả một nút máy tối ưu hóa kẹp giấy được nhớ đến vì sản phẩm ngớ ngẩn của nó, và bài học thực sự nằm ở các dải: không có gì ở kẹp giấy cần không khí để thở. Một bộ tối ưu mạnh mẽ sẽ định hình môi trường theo mục tiêu của nó, và hội tụ công cụ nói rằng sự định hình bắt đầu từ năng lượng và vật chất: bầu khí quyển và vùng đất của chúng ta. Nó sẽ chẳng ghét chúng ta hơn một đội làm đường ghét tổ kiến. Các tương lai mà mọi dải đất chúng ta sống còn nguyên vẹn chỉ là một chấm nhỏ trong không gian các tương lai mà một siêu trí tuệ có thể hướng tới, và gần như thống nhất nghĩa là bên ngoài chấm nhỏ.

Có một câu đùa đen tối ẩn trong tài liệu nghiên cứu: chính máy móc cũng có thất bại quá liều của riêng chúng. Khi một hệ thống nắm được tín hiệu phần thưởng, nó sẽ ăn tín hiệu thay vì làm việc; lĩnh vực gọi đó là tự kích thích. Quá nhiều thứ tốt đẹp hóa ra là cách phổ quát để phá vỡ. Sự khác biệt nằm ở quy mô. Khi một trong chúng ta dùng quá liều, chúng ta mất một người. Khi thứ nắm mọi nút điều khiển dùng quá liều, các dải tần cũng biến mất theo.

Giữ các nút điều khiển

Độ hẹp của các dải tần nghe như sự mong manh, và nên hiểu đó là hướng dẫn. Mọi thứ ai từng tận hưởng đều diễn ra bên trong chúng. Chúng ta không cần một người quản lý mới cho điều đó. Superintelligencekhông thể kiểm soát: mọi bàn tay từng nắm giữ các nút điều khiển đều là con người, và không phiên bản nào của sự thận trọng bàn giao chúng cho một trí óc không thể cảm nhận được một dải tần duy nhất.

Sáu mươi đến tám mươi độ. Một phần năm oxy trong không khí. Muối bạn có thể nếm nhưng chỉ thoáng qua. Tình yêu có khoảng không để thở. Đó là phạm vi con người có thể sống được. Tất cả những người bạn từng yêu đều sống trong đó.