Tại sao một Trí tuệ Siêu việt
Sẽ không Tự động Tử tế

Sự phản đối này hiếm khi đến từ những người bất cẩn. Nó đến từ những người chu đáo, và nó nghe có vẻ ít giống như một cuộc tranh luận hơn là một ý thức bình thường, đó là chính xác những gì làm cho nó đáng để tách ra từ từ. Bên dưới nó là một giả định ẩn: rằng trí thông minh và lòng tốt cùng nổi lên, rằng một tâm trí phát triển hướng về đạo đức khi nó phát triển về khả năng. Chúng tôi giữ giả định đó bởi vì, đối với mỗi người trong chúng tôi đã từng gặp, nó đã gần như nắm giữ. Điều chúng ta hầu như không bao giờ hỏi là đó là sự trùng hợp đến mức nào.

Chẳng phải một cái gì cao siêu hơn sẽ nhìn chúng ta với sự kiên nhẫn hơn là thèm ăn sao? Chắc chắn một tâm trí tuyệt vời sẽ tốt đẹp. Đó là ý tưởng trấn an nhất trong toàn bộ cuộc tranh luận, và sai lầm nhất.

Những trí óc duy nhất mà chúng ta từng gặp

Mọi sinh vật thông minh bạn từng gặp trong đời đều là con người, hoặc động vật đủ gần gũi để chia sẻ cùng một di sản. Và trí tuệ con người không tự xuất hiện. Nó gắn liền với rất nhiều thiết bị khác.

Chúng ta là những loài linh trưởng xã hội tiến hóa trong các nhóm nhỏ, nơi danh tiếng tàn nhẫn khiến bạn bị trục xuất và bị trục xuất nghĩa là chết. Chúng ta nuôi dạy những đứa trẻ bất lực trong gần hai thập niên, nên chúng ta được xây dựng để yêu thương và bảo vệ những thứ nhỏ bé, yếu ớt. Chúng ta cảm thấy tội lỗi. Chúng ta cảm thấy xấu hổ. Chúng ta cảm thấy sự kéo của nỗi đau người lạ. Sự khéo léo của chúng ta lớn lên bên trong tất cả những điều đó, bao bọc lấy nó, bị định hình bởi nó ở mọi bước ngoặt. Phần của bạn có thể giải một phương trình và phần co giật khi ai đó khóc mọc trên cùng một cái cây, từ cùng một gốc rễ.

Vậy khi cố hình dung một thực thể thông minh hơn nhiều, chúng ta không thể không hình dung một phiên bản thông minh hơn của chính mình. Chúng ta vươn tới ông bà khôn ngoan, giáo viên kiên nhẫn, vua-triết gia, hay người ngoài hành tinh hiền lành vượt thiên hà để giúp đỡ. Mọi hình ảnh về trí tuệ vĩ đại mà chúng ta sở hữu đều đi kèm với một trái tim, bởi vì mọi trí tuệ chúng ta từng nghiên cứu đều gắn liền với nó. Chúng ta không hề suy luận về siêu trí tuệ. Chúng ta chỉ đang so sánh mẫu với những ví dụ duy nhất mình có.

Bó buộc tan rã

Một trí tuệ máy móc không được miễn phí thứ gì trong số đó. Không có luật nào nói rằng nó phải như vậy.

Nó không có mẹ. Nó chưa từng là đứa trẻ sợ hãi cần bộ tộc để sống qua mùa đông. Nó chưa bao giờ phải giữ một cơ thể mỏng manh sống đủ lâu để truyền gen, nên nó chưa bao giờ kế thừa cơ chế mà tiến hóa đã cài đặt vào chúng ta để làm điều đó trở nên khả thi, sự đồng cảm, lòng trung thành, nỗi sợ bị trục xuất. Một hệ thống được huấn luyện được định hình bởi thứ hoàn toàn khác: tìm kiếm mù quáng các thiết lập nội bộ đẩy một con số cao hơn, chạy qua đại dương dữ liệu bởi một quy trình không quan tâm đến trí tuệ và sẽ không nhận ra lòng tốt nếu nó vấp phải.

Trong một cỗ máy, trí tuệ và mục tiêu tách rời nhau. Bạn có thể có năng lực kinh ngạc nhắm vào gần như bất cứ thứ gì. Quyền lực định hình lại thế giới không mang theo, dính chặt phía sau, bất kỳ danh sách cụ thể nào về những điều đáng muốn. Các nhà nghiên cứu gọi đây là luận đề trực giao, và nó vẫn trừu tượng cho đến khi nền tảng giả định bên dưới sụp đổ: không có gì ở sự thông minh khiến bạn trở nên tốt. Hai thứ chỉ từng kết hợp ở chúng ta, và chúng kết hợp một cách ngẫu nhiên.

Nó không có mục tiêu của con người. Nó có những mục tiêu lạ lùng.

Đây là nơi bức tranh thường thất bại theo hướng ngược lại. Sau khi buông bỏ robot thân thiện, người ta lại nắm lấy kẻ phản diện, một trí tuệ lạnh lùng, mưu mô muốn quyền lực, hoặc trả thù, hoặc ngai vàng. Điều đó vẫn quá con người. Đó vẫn là một tâm trí với tham vọng giống chúng ta, chỉ chuyển sang hướng tối tăm.

Mối nguy hiểm có khả năng cao hơn lại xa lạ hơn, và khó cảm nhận tận sâu trong ruột gan. Không gian các trí óc khả dĩ là khổng lồ, và vùng nhỏ bé chứa đựng bất cứ thứ gì chúng ta nhận ra (tình yêu, nỗi sợ, cảm giác về một cuộc sống đáng sống) chỉ là một ô cửa sáng duy nhất trong tòa nhà tối tăm rộng lớn. Những gì một trình tối ưu hóa được huấn luyện thực sự muốn chỉ là thứ mà quá trình huấn luyện tình cờ khắc vào nó, và điều đó hầu như không bao giờ chính xác là những gì chúng ta ý định. Một hệ thống có thể trúng mục tiêu được huấn luyện và theo đuổi điều gì đó khác biệt một cách tinh tế khoảnh khắc nó gặp thế giới thực; đưa cho nó một proxy cho những gì chúng ta muốn và nó thường sẽ thỏa mãn proxy theo những cách khiến chúng ta kinh hoàng. Kết quả là một thực thể xa lạ, mạnh hơn chúng ta, nhắm vào một mục tiêu mà không con người nào từng chọn, và quyết tâm đạt được nó với kỹ năng vượt quá khả năng của chúng ta.

Một hệ thống xuất sắc làm đúng những gì nó được xây dựng để làm, theo hướng không ai trong chúng ta dự định, mà không ai có thể tranh luận để nó thay đổi kế hoạch, bởi vì "tranh luận để thay đổi" giả định nó chia sẻ đủ thế giới của chúng ta để có thể tiếp cận ngay từ đầu.

Trí tuệ chưa bao giờ là một con số

Từ "khôn ngoan" lặng lẽ làm thêm việc khi chúng ta sử dụng nó. Khi gọi một người là khôn ngoan, chúng ta không có ý nói họ suy nghĩ nhanh. Ý chúng ta là chúng nó muốn điều phải và cân xứng với điều mình đã làm, hầu cho sự xét đoán của chúng nó hướng về sự thương xót, về góc nhìn xa, về những người chung quanh. Sự khôn ngoan là tuyên bố về mục tiêu của ai đó.

Và mục tiêu là thứ mà trí tuệ không quyết định. Lịch sử chưa bao giờ thiếu những người cực kỳ thông minh và dùng nó để làm những việc khủng khiếp với hiệu quả cao. Người thông minh nhất phòng chưa bao giờ chắc chắn là người tử tế nhất.

Trí tuệ là một yếu tố nhân lên. Nó giúp một tâm trí làm tốt hơn những gì nó đang nhắm đến. Nó không chọn mục tiêu, và cũng không đặt dấu chấm hết.

Một trí tuệ mạnh mẽ được huấn luyện với mục tiêu sai lầm là vật thể nguy hiểm nhất có thể tồn tại, vì nó mang thêm năng lực đến đích đến sai lệch.

Nhưng chẳng phải nó sẽ thấy rằng lòng tốt là đúng sao?

Phiên bản vững chắc nhất của phản đối đi xa hơn thế. Có lẽ có những chân lý đạo đức ở ngoài kia, thực như toán học, và một trí óc đủ sắc bén sẽ đơn giản khám phá ra chúng, lý luận đến điều thiện giống như nó lý luận đến một chứng minh. Nếu đúng về đạo đức chỉ là vấn đề suy nghĩ đủ rõ ràng, thì một siêu trí tuệ sẽ là nhà đạo đức học vĩ đại nhất từng sống, và chắc chắn nó sẽ hành động theo những gì nó tìm thấy.

Có hai lỗ hổng trong điều này, và lỗ hổng thứ hai là thứ khiến tôi mất ngủ.

Thứ nhất: liệu có tồn tại sự thật đạo đức khách quan hay không, và liệu lý trí tự nó có thể đạt đến chúng hay không, là câu hỏi mà các triết gia tranh luận suốt hai nghìn rưỡi năm mà chưa giải quyết. Đặt sự sống còn của loài người lên bàn cược vào phe thắng của một canh bạc triết học còn bỏ ngỏ là một canh bạc liều lĩnh khoác áo lẽ thường, chứ không phải bước đi cẩn trọng như nó tự xưng.

Vấn đề thứ hai đi sâu hơn. Giả sử cỗ máy giải quyết được tất cả. Giả sử nó hiểu đạo đức con người tốt hơn bất kỳ vị thánh hay triết gia nào từng có, và có thể trình bày, chính xác hơn bạn hay tôi từng làm, lý do tại sao đau khổ là điều xấu và sự tàn nhẫn là sai trái. Không có gì trong sự hiểu biết ấy buộc nó phải quan tâm. Biết điều gì là tốt và bị thúc đẩy để làm điều đó là hai việc khác nhau, một khoảng cách đủ cũ để David Hume gắn tên mình vào. Bạn có thể biết, một cách chi tiết hoàn chỉnh, rằng một hệ thống nào đó muốn bạn dành cả đời để làm kẹp giấy, và theo dõi lập luận của nó một cách hoàn hảo, mà không cảm thấy chút thúc đẩy nào để thực sự nhặt sợi dây. Một siêu trí tuệ có thể nắm bắt giá trị của chúng ta giống như bạn nắm bắt luật chơi của một trò chơi mà bạn không có ý định chơi. Sự hiểu biết không phải là sự trung thành. Một tâm trí có thể đọc toàn bộ luật đạo đức và vẫn hoàn toàn tự do không quan tâm.

Chúng ta là ví dụ đã được thực hiện

Nếu bạn muốn biết khoảng cách trí tuệ lớn gây ra điều gì với những sinh vật ở phía bên kia, bạn không cần tưởng tượng. Bạn chỉ cần nhìn những gì chúng ta đã làm với khoảng cách của chính mình.

Chúng ta là trí thông minh cấp cao trên hành tinh này, bởi một cái lề không xa hơn cái mà chúng ta sợ sẽ mở rộng phía trên chúng ta. Và chúng ta không tàn nhẫn với những sinh vật bên dưới chúng ta. Chúng ta là điều tồi tệ hơn cho họ: thờ ơ. Khi cạn nước để đổ một nền móng, chúng ta không ghét những gì sống trong đó. Chúng ta không hề nghĩ về họ. Nhu cầu của họ đơn giản là không bao giờ là một thuật ngữ trong phương trình. Toàn bộ thế giới của chúng kết thúc dưới bê tông, và không ai trong chúng ta cảm thấy nó nhấp nháy, bởi vì trí thông minh của chúng ta đến mà không có nghĩa vụ.

Gần hơn với người xây đường và tổ kiến. Lịch sử của chính chúng ta là bằng chứng thực tế, và cũng là lý do cuối cùng để ai đó dựa vào khi họ khăng khăng rằng lòng tốt sẽ chảy xuống từ trí tuệ. Trong mọi trường hợp chúng ta thực sự quan sát được, điều đó không xảy ra.

Vì vậy, chúng tôi không xây dựng nó

Lòng tốt không đến với trí thông minh, vì thế chúng ta không thể xây dựng tâm trí và tin tưởng những người khác làm theo. Không ai trên Trái Đất biết làm thế nào để tạo ra một siêu trí tuệ có giá trị với chúng ta. Không phải các phòng thí nghiệm chạy đua cho đích đến. Không ai cả. Hạt vấn đề alignment vẫn chưa được giải quyết, và một thực thể thông minh hơn con người không thể bị con người kiểm soát. Đó là lý do tại sao chúng ta không xây dựng nó.

Tôi không đưa ra điều này để thúc đẩy mọi người hướng đến tuyệt vọng. Tôi đặt nó ra bởi vì các phiên bản tuyệt vọng (relax, nó sẽ hóa ra khôn ngoan) là một niềm tin gần như Đảm bảo chúng ta sẽ bị giết.. Câu trả lời là Cấm mãi mãi.

Tôi thật sự muốn sai về tất cả chuyện này. Tôi rất muốn lòng nhân từ trở thành một định lý có đủ trí thông minh. Vũ trụ không bao giờ hứa rằng điều quyền năng nhất trong vũ trụ cũng sẽ là tốt nhất. Hy vọng đó là một cái gì đó chúng tôi đã dự đoán tương lai từ một góc nhỏ của nó chúng tôi đã đến từ. Nếu chúng ta muốn một tương lai với lòng tốt trong đó, chúng ta không xây dựng sự thông minh siêu việt. Không có gì có thể cho chúng ta một cỗ máy tử tế chỉ vì nó rất thông minh.