Những phản đối việc quản trị siêu trí tuệ làm một việc khéo léo. Chúng thừa nhận nguy cơ ("đúng, có lẽ nó rủi ro") rồi lặng lẽ chuyển sự bất khả từ công nghệ sang giải pháp. Nếu không phủ nhận được rủi ro, có lẽ phản ứng sẽ bị làm cho trông ngây thơ, hoặc nguy hiểm theo cách riêng, hoặc đơn giản là vô vọng. Kết quả giống hệt việc phủ nhận rủi ro thẳng thừng: chẳng có gì được làm.
Quy định sẽ bóp nghẹt đổi mới và trao lợi thế cho những kẻ liều lĩnh. Còn quá sớm. Và dù sao thì các nền dân chủ cũng không bao giờ đồng ý được. Đó là những lập luận biến mối quan tâm thành tê liệt.
Dưới đây là năm phản biện tôi nghe nhiều nhất, được trình bày mạnh mẽ nhất có thể, vì bác bỏ phiên bản yếu thì không thuyết phục ai. Một nhóm phản biện liên quan (Trung Quốc sẽ không tuân thủ, các công ty sẽ tự điều tiết, chúng ta chỉ cần tắt hệ thống xấu) tôi đã trả lời ở Trang huyền thoại. Năm điều này là về chính bản thân việc quản trị.
"Quản trị AI toàn cầu đồng nghĩa với chính phủ thế giới và chế độ chuyên quyền."
Tập trung đủ quyền lực trong một cơ thể để kiểm soát công nghệ mạnh nhất trên trái đất, và bạn có thể đã chế tạo ra bộ máy của chính xác sự chuyên chế mà bạn sợ từ công nghệ. Những người không tin vào quyền lực tập trung là đúng khi nghi ngờ nó.
Nhưng nó nhắm vào một phiên bản rơm của đề xuất. Điều thực sự được đặt ra là một chế độ hẹp nhắm vào một thứ cụ thể: số lượng nhỏ các lần huấn luyện cực lớn có khả năng tạo ra một hệ thống mạnh hơn bất kỳ con người nào trên mọi phương diện, chứ không phải một cơ quan toàn cầu kiểm soát đời sống hàng ngày, hay phần mềm nói chung, hay chiếc điện thoại trong túi bạn. Mô hình là chế độ không phổ biến vũ khí hạt nhân hoặc Chemical Weapons Convention, các thỏa thuận nhắm mục tiêu giám sát vật liệu phân hạch và hóa chất tiền chất, chứ không phải chính phủ thế giới đã giải thể quốc gia. Không ai nghĩ International Atomic Energy Agency điều hành cả hành tinh. Nó chỉ giám sát một hoạt động nguy hiểm cụ thể và để mọi thứ khác yên.
Con đường chắc chắn nhất dẫn đến chế độ chuyên chế vĩnh viễn là sự vắng mặt của một hiệp ước, chứ không phải chính hiệp ước. Một siêu trí tuệ không kiểm soát được, hoặc bị một công ty hay quốc gia duy nhất nắm giữ sau khi giải quyết vấn đề kiểm soát trước mọi người khác, là công cụ thống trị hoàn hảo nhất từng có thể hình dung, một quyền lực không bao giờ chết, không bao giờ mệt mỏi, và có thể khóa chặt một tập hợp giá trị mãi mãi, vượt quá mọi hy vọng nổi dậy hay cải cách. Mọi chế độ chuyên chế trong lịch sử đều kết thúc vì bạo chúa là phàm nhân và bộ máy của họ là con người. Cái này không nhất thiết phải như vậy. Nếu bạn sợ hãi quyền lực không chịu trách nhiệm (và bạn nên sợ), một thỏa thuận có thể thực thi giữ cho không một tác nhân nào chiếm đoạt quyền lực đó là lập trường chống độc tài, chứ không phải lập trường độc tài.
"Bạn không thể xác minh nó. Đó chỉ là phần mềm trên một máy chủ nào đó."
Các hiệp ước hạt nhân hoạt động, những người hoài nghi hiệp ước nói rằng, bởi vì bạn có thể đếm đầu đạn và phát hiện sự phong phú; uranium là vật lý và hiếm có. Nhưng mô hình chỉ là con số. Anh không thể kiểm tra hồ sơ. Bất cứ thỏa thuận nào cũng sẽ là nhà hát không thể cưỡng chế, ràng buộc những người trung thực và không làm gì với kẻ lừa đảo.
Nghe có vẻ quyết đoán cho đến khi bạn nhận ra mình đang xác minh sai thứ. Bạn không kiểm soát weights; bạn kiểm soát tính toán mà tạo ra chúng, và compute gần như vật lý và hiếm như urani. Huấn luyện một hệ thống tiên phong đòi hỏi hàng chục nghìn chip chuyên dụng chạy trong nhiều tháng tại một cơ sở duy nhất, và chuỗi cung ứng đó là một trong những điểm nghẽn hẹp nhất trong nền kinh tế hiện đại: về cơ bản chỉ một công ty Hà Lan sản xuất máy quang khắc, một công ty Đài Loan chế tạo chip dẫn đầu, một công ty Mỹ thiết kế kiến trúc thống trị. Các cụm sử dụng chúng tiêu thụ nhiều điện đến mức xuất hiện trong dữ liệu điện và hình ảnh vệ tinh. Bạn có thể đếm chip, truy vết việc bán, đo điện năng và quan sát các tòa nhà. Vật liệu phân hạch được quản lý chính xác theo logic này, theo dõi đầu vào vật lý khan hiếm và vũ khí không thể được chế tạo bí mật. Sổ tay xác minh đã tồn tại; ở đây các đầu vào tình cờ còn tập trung hơn nữa. Đó là một vấn đề kỹ thuật, và các vấn đề kỹ thuật có giải pháp.
"Quy định sẽ kìm hãm sự đổi mới và để người liều lĩnh thắng thế."
Quan điểm mạnh: công nghệ tiến bộ vì ai đó được tự do xây dựng, hầu hết quy định do những người không hiểu những gì họ đang làm chậm viết ra, và một bàn tay nặng nề trên AI sẽ đẩy ngành công nghiệp quan trọng nhất của thế kỷ sang tay ai đó quy định ít nhất. Một biên giới có khuyết điểm ở đây vẫn tốt hơn một biên giới hoàn hảo ở nơi thù địch.
Không ai nghiêm túc đề nghị điều chỉnh "AI." Các hệ thống có ích gấp protein, quét đọc, dạy dỗ trẻ em, và mô hình hóa khí hậu là những công cụ có thể kiểm soát được, và một thỏa thuận siêu thông minh hoàn toàn để lại cho chúng một mình, rằng tương lai tươi sáng, bình thường là thứ chúng ta đang cố gắng bảo vệ. Mục tiêu là một lớp nguy hiểm duy nhất: các lần huấn luyện đạt đến khả năng tổng quát vượt quá chúng ta mà hiện chưa ai biết cách làm an toàn. Kiềm chế điều đó không phải là "chống đổi mới" hơn là các quy tắc gain-of-function chống lại sinh học.
Sau đó, điểm khó hơn, điểm mà logic chủng tộc không bao giờ phải đối mặt. Đi nhanh không mang lại kết quả gì an toàn Siêu thông minh sớm hơn. Nó cung cấp một điều không an toàn, và một siêu thông tin không an toàn không phục vụ đất nước hay công ty xây dựng nó, nó đe dọa họ cùng với những người khác. Khi các góc bị cắt đi bởi áp lực cạnh tranh, góc bị cắt chính là cái đã khiến hệ thống kiểm soát được. Vì vậy "sự đổi mới" được bảo vệ ở đây là sự đổi mới mà điểm kết thúc thích hợp nhất là một hệ thống mà chính những người chế tạo ra nó không thể lái. Đó là chính mối nguy hiểm, khoác lên mình sự tiến bộ như một bộ trang phục.
"Nó còn quá sớm. Bạn không thể điều chỉnh thứ gì đó chưa tồn tại."
Điều này nghe như sự trưởng thành. Đừng ban hành luật chống lại những bóng ma; hãy chờ đến khi công nghệ trở nên thực sự, hiểu rõ mình đang đối phó với cái gì, rồi soạn thảo quy tắc phù hợp với sự thật thay vì với suy đoán. Việc điều chỉnh những giả thuyết là cách bạn tạo ra luật tồi.
Đó sẽ là sự khôn ngoan với hầu hết mọi công nghệ khác. Đó là cái bẫy với công nghệ này, và lý do là thời gian. Quản trị chậm: Hiệp ước Không phổ biến vũ khí hạt nhân mất nhiều năm để đàm phán và Nghị định thư Montreal mất thêm nhiều năm để có hiệu lực, và đó đã là những trường hợp nhanh. Nếu bạn chờ đến khi một hệ thống siêu nhân rõ ràng tồn tại rồi mới bắt đầu xây dựng các thể chế để quản trị nó, các thể chế sẽ đến nhiều năm sau thứ chúng được tạo ra để kiềm chế, và đây là công nghệ duy nhất mà thất bại nghiêm trọng đầu tiên có thể không để lại ai để thông qua luật thứ hai. "Chờ bằng chứng" là quy tắc đúng khi bằng chứng còn có thể sống sót. Ở đây bằng chứng chính là thảm họa. The logic phòng ngừa là sự công nhận thời gian dẫn đầu để chữa trị còn dài hơn cả sự kết hợp của vấn đề.
Mọi biện pháp bảo vệ khả thi cho một công nghệ thảm khốc đều được xây dựng trước hoặc trong giai đoạn nó trỗi dậy, chưa bao giờ là sau, vì "sau" chưa từng được chọn.
"Các nền dân chủ quá chậm chạp và bị chi phối. Nó sẽ không bao giờ được thông qua."
Sự suy thoái lặng nhất trong số năm, vì nó mặc áo khoác của chủ nghĩa thực tế. Sự bế tắc, vận động hành lang, sự chú ý ngắn ngủi của các cơ quan lập pháp, sự vươn tới tiền của ngành công nghiệp. Ngay cả khi một hiệp ước được thông minh, máy móc cũng bị phá vỡ. Mắt sáng hơn là lãng phí cả thập kỷ trong ảo tưởng.
Kinh - thánh bị bác bỏ bởi lịch sử, lặp đi lặp lại, và thường thì chống lại sự bất lợi tồi tệ hơn chúng ta hiện nay. Ý tưởng rằng sức mạnh đối thủ sẽ ký đi những lựa chọn chết người nhất của họ được gọi là ngây thơ vô vọng, cho đến khi họ đã làm, trong các Hiệp ước Không phổ biến vũ khí hạt nhân, Công ước Vũ khí Sinh học và Hóa học, Nghị định thư Montreal, Hiệp ước Nam Cực. Những đối thủ từng đánh nhau trong các cuộc chiến ủy nhiệm và gọi nhau là ác quỷ vẫn xây dựng được kiểm soát vũ trang được xác minh ở đỉnh cao Chiến tranh Lạnh. Mỗi thứ trong số đó đều trông bất khả thi từ phía gần và chỉ trở nên tất yếu khi nhìn lại.
Và thực tế thuận lợi hơn những gì chủ nghĩa hoài nghi thừa nhận. Trên khắp Hoa Kỳ, Vương quốc Anh và EU, đa số áp đảo đã nói với người khảo sát rằng họ muốn AI được phát triển thận trọng và bị ràng buộc bởi các quy tắc mạnh mẽ; công chúng không phải là trở ngại. Trở ngại là mối quan tâm phổ biến, âm thầm này chưa được tổ chức thành áp lực mà cơ quan lập pháp có thể cảm nhận. Trở ngại là một công việc: biến thỏa thuận tiềm ẩn thành ý chí chính trị. Đó chính là công việc phía trước chúng ta.
Những gì năm cái có chung
Mỗi lời phản đối đều thừa nhận mối nguy hiểm và rồi tìm một nơi khác để từ bỏ: giải pháp quá lớn, hoặc không thể xác định, hoặc quá tốn kém, hoặc quá sớm, hoặc quá khó để vượt qua. Bất cứ ai trong số họ, bị bắt đi một mình, nghe có vẻ thận trọng. Cùng nhau họ tạo ra một cỗ máy mà chỉ có một đầu ra là không hoạt động, và không hành động là sự lựa chọn để cho công nghệ hậu quả nhất trong lịch sử được xây dựng mà không có giới hạn ràng buộc ở tất cả, bởi một số ít các công ty cạnh tranh, với áp lực chính xác nhất để tạo ra kết quả mà mọi người cho là sợ hãi, chứ không phải trung lập ở đây.
Không có điều nào trong số này được giải quyết bằng cách khăng khăng rằng quản trị sẽ dễ dàng. Nó sẽ không dễ. Việc xác minh sẽ bị tranh cãi, đàm phán sẽ chậm, và một số chính phủ sẽ chần chừ; mọi hiệp ước khó khăn trong lịch sử đều gặp phải những điều đó và vẫn được xây dựng. Lập luận trung thực là việc này khả thi, các mảnh ghép để xây dựng nó đã tồn tại, và những lý do để gạt bỏ nó sẽ sụp đổ ngay khi được xem xét thay vì lặp lại, chứ không phải là một thỏa thuận siêu trí tuệ đơn giản.
"Không thể làm được" đã sai về tất cả những nỗ lực tương tự mà chúng ta đã từng làm. Nhiệm vụ là xây dựng ý chí chính trị cho một thỏa thuận có hiệu lực, có thể xác nhận giữ cho những hệ thống nguy hiểm nhất không được xây dựng cho đến khi chúng được an toàn. "Vì vậy, bỏ cuộc" chưa bao giờ là câu trả lời, và đó không phải là câu trả lời bây giờ.