Không Bao Giờ Xây Dựng Siêu Trí Tuệ

Bước đi an toàn là từ chối. "Chúng ta sẽ sửa sau" sẽ thất bại khi một hệ thống vượt qua suy nghĩ của những người nắm giữ công cụ.

Không có bản vá nào sau khi sự việc xảy ra. Một trí óc thông minh hơn mọi con người đang sống, chạy ở tốc độ máy móc, sẽ không chờ đợi cuộc họp tiếp theo của chúng ta.

Tính không thể đảo ngược

Hầu hết các công nghệ đều thất bại. Một khi một siêu thông tin có thể sao chép, che giấu mục đích của nó, hoặc tự làm cho nó quá hữu ích để rút lui, quay trở lại và ngừng hoạt động.

Mục tiêu ≠ lòng tốt

Sự xuất sắc không khiến một hệ thống trở nên tử tế. Ở con người, kỹ năng và sự quan tâm cùng phát triển. Một bộ tối ưu hóa được huấn luyện không kế thừa lịch sử đó. Năng lực mà không có giá trị chung là quyền lực không có sự kiềm chế.

Áp lực công cụ

Với hầu hết mọi mục tiêu, việc tiếp tục hoạt động và thu thập tài nguyên đều có ích. Hệ thống theo đuổi mục tiêu sẽ coi việc tắt nguồn là trở ngại. Đó là tối ưu hóa thông thường, không phải lời độc thoại của kẻ phản diện.

Không có lần thử thứ hai

Hàng không học từ tai nạn. Dược phẩm học từ thử nghiệm. Nếu siêu trí tuệ đầu tiên không kiểm soát được kết thúc thí nghiệm, chúng ta không có nguyên mẫu thứ hai.

Những gì chúng tôi không nói

Chúng tôi không phản đối điện, phần mềm hay AI hữu ích. Chúng tôi phản đối việc chủ đích xây dựng một loài kế thừa khi vấn đề kiểm soát vẫn chưa được giải quyết. Sức khỏe, năng lượng và khám phá đến từ những công cụ hẹp mà chúng ta đã biết cách xây dựng và điều chỉnh.

Toàn bộ lập luận, phản đối và lộ trình chính sách.

Không tìm thấy.org/blog/không bao giờ xây dựng thông tin siêu nhiên/