Hầu như tất cả những ai làm việc trên hệ thống an toàn AI ở nơi công cộng đều được gọi là Kẻ hủy diệt. Nhãn đến trước lập luận, trước khi một từ về xác suất hoặc dòng thời gian hoặc "điều khiển" thậm chí có nghĩa là gì. Những người nâng cao rủi ro thường nhận được một nhãn hiệu đầu tiên: sợ hãi, chống ma túy, diệt vong. Cái nhãn cho phép bạn bỏ qua cuộc tranh luận.

Nước đi hiệu quả nhất của phe tăng tốc là một cái tên, không phải một lập luận.

Nguồn gốc của từ này

Khoảng năm 2022 và 2023, cuộc tranh luận an toàn AI ngừng là cuộc trò chuyện nội bộ giữa các nhà nghiên cứu và lan sang mạng xã hội, nơi các lập luận tạo thành phe phái và phe phái có tên. Phe tăng tốc (những người tin AI nên được xây dựng nhanh nhất có thể) lấy hậu tố "e/acc" làm biểu tượng và đeo nó trong tên người dùng. Họ cũng cần tên cho phe kia. "Doomer" là cái tên đó, thường đi kèm "decel," viết tắt của deceleration, tội lỗi muốn đi chậm hơn.

Tâm trạng cứng rắn vào tháng 10, khi Marc Andresen xuất bản "The Techno-Optimist Showo." Nó đọc ít giống như một cuộc tranh luận hơn là một tín điều, và nó bao gồm một danh sách những gì nó gọi là kẻ thù, trong số các mục nhập, "sự rủi ro hiện hữu" và "các nguyên tắc phòng ngừa," ý tưởng đơn giản rằng bạn có thể muốn hiểu một công nghệ mạnh mẽ trước khi bạn triển khai nó ở quy mô. Một khi mối quan tâm được đệ trình dưới "kẻ thù", những người giữ nó chỉ cần một nhãn hiệu ngắn hơn để sử dụng hàng ngày. "Domer" đã làm phần còn lại, thay vì Chữ hoa/ thường.

Nhãn mác thực sự làm gì

Doomer là một nhân vật, không phải một lập luận. Nó biến tranh luận thành kiểu tính cách, và kiểu tính cách thì không cần trả lời, chỉ cần chẩn đoán.

Phần an toàn nói rằng khả năng thảm họa từ một hệ thống siêu thông minh là đủ cao (không chắc chắn, đủ cao) mà chúng ta nên xây dựng khả năng kiểm soát những hệ thống này trước khi xây dựng hệ thống. Anh có thể đẩy mọi phần của nó. Bạn có thể tranh luận rằng xác suất thấp hơn chúng ta nghĩ, rằng dòng thời gian dài hơn, rằng "điều khiển" là một khung hình sai lầm, rằng quản trị sẽ gây ra nhiều nguy hiểm hơn là những địa chỉ của nó.

"Doomer" bỏ qua điều đó. Từ này nói rằng: bạn là kiểu người sợ ngày mai. Lập trường của bạn là một tâm trạng, không phải luận điểm, và tâm trạng không cần bác bỏ: chiêu trò tu từ cũ nhất, lập luận chống lại con người thay vì chống lại luận điểm, khoác áo mới. Sự tinh tế của nó là nó không bao giờ phải chạm vào bất đồng thực sự. Nó chuyển toàn bộ cuộc tranh luận từ "điều này có đúng không" sang "kiểu người nào tin điều này", nơi người theo chủ nghĩa tăng tốc đã tự trả lời.

Từ này biến một lập luận thành kiểu tính cách, và kiểu tính cách không cần được trả lời, chỉ cần chẩn đoán.

Tại sao nó thuyết phục

Nhãn hiệu này hiệu quả vì nó được xây dựng từ những điều mọi người đã muốn tin về chính mình.

Bắt đầu với điều hiển nhiên: không ai muốn là người bi quan. Lạc quan được đọc là tự tin và động lực; thận trọng được đọc là nhút nhát và sợ hãi. Khung chọn lựa là người xây dựng so với người bi quan và hầu hết mọi người đã biết ghế nào họ muốn ngồi. Khung đã hoàn thành công việc trước khi một sự kiện đơn lẻ chạm đến bàn.

Nó vẽ lên một câu chuyện Mỹ kể về chính nó. Tiến bộ là tốt. Những người sợ đường sắt, báo in, đèn điện là sai, và lịch sử nhớ họ là những kẻ ngốc. Nhà gia tốc lấy toàn bộ câu chuyện ra khỏi kệ và đề nghị người ủng hộ an toàn như là tên mới nhất trong danh sách những người sợ hãi sẽ cảm thấy xấu hổ về tương lai. Di chuyển là giả định, không tranh cãi, rằng nó lại đúng lần nữa, rằng siêu thông minh là máy in chứ không phải là điều gì mới. Cho dù nó là cùng một câu chuyện là toàn bộ câu hỏi, và nhãn hiệu tồn tại để câu hỏi không bao giờ được đặt ra.

Từ này nhắm đến ai

Xếp hàng những người bị ném vào và hình ảnh biếm họa sẽ tan vỡ trong tay bạn.

Geoffrey Hinton đã rời khỏi vội vàng vào năm 2023 để ông có thể nói về rủi ro mà không cần một tập đoàn chú ý, ông là gần gũi với một người cha sáng lập như lĩnh vực này. Yosua Bengio, trong số những nhà nghiên cứu sống động nhất, cũng đã lo lắng tương tự về công việc của mình. Vào tháng 5 năm 2023, hàng trăm nhà khoa học và nhà điều hành (kể cả những nhà lãnh đạo của các phòng thí nghiệm đang chạy đua để xây dựng công nghệ) đặt tên cho một tuyên bố đặt nguy cơ tuyệt chủng từ AI trong cùng một loại như đại dịch và chiến tranh hạt nhân. Họ không sợ công nghệ. Họ đã tạo ra cái này. Bất cứ điều gì bạn muốn gọi vị trí của họ, "được chăm sóc cho tương lai" không phải là mô tả về nó, mà là một cách không lắng nghe nó.

Từ này cũng làm cong một quang phổ rộng xuống một chấm. Có một khoảng cách rất lớn giữa một người nghĩ rằng thảm họa là gần như chắc chắn và một người nào đó đặt nó ở một số phần trăm và dù sao, khoảng cách giữa một nhà tiên tri và một nhà hoạt động. Cả hai đều bị kết án tử hình. Cái nhãn không thể thấy được sự khác biệt bởi vì nó không bao giờ được xây dựng để; công việc của nó là tạo ra một quan điểm khá bình thường trông giống như một giáo phái mắt hoang dã. Thật phạm vi ước tính của chuyên gia là cái nhãn được thiết kế để xóa.

Dấu hiệu

Một phong trào tin tưởng vào lời giải đáp cho câu hỏi an toàn sẽ không cần một biệt danh cho những người hỏi.

Nếu rủi ro thảm khốc thực sự gần bằng không, đó là một tuyên bố bạn có thể phòng thủ ở nơi trống trải. Hãy cho thấy lý luận. Giải thích tại sao các nhà nghiên cứu xây dựng hệ thống lại sai về hệ thống mà họ xây dựng. Làm trường hợp Sự thẳng hàng đó hóa ra dễ dàng, hoặc trí thông minh lớn hơn sẽ mang lại sự chăm sóc lớn hơn, hoặc cuộc đua giữa các phòng thí nghiệm bằng cách nào đó tự sửa chữa bản thân trước khi ai đó cắt một góc chết người.

Từ “doomer” là thứ lấp đầy khoảng trống nơi lẽ ra phải có lập luận. Người ta dùng nhãn khi không muốn đối mặt với nội dung. Gọi tên đối thủ rẻ hơn là bác bỏ họ, và từ xa nhìn có vẻ như một chiến thắng đến mức đám đông thường không phân biệt được họ vừa chứng kiến điều gì.

Cách trả lời nó

Từ chối khung. Ngay khoảnh khắc cuộc trò chuyện trở thành builder-versus-doomer, nội dung thực chất đã rời khỏi phòng. Kéo nó trở lại cấp độ đối tượng bằng một câu hỏi: bạn đang đặt xác suất bao nhiêu cho rủi ro thảm khốc, và tại sao là con số đó? Hầu như không ai vung từ này như vũ khí có thể trả lời, vì từ ấy ở đó để họ không bao giờ phải làm vậy. Nếu bạn muốn xem cách một con số như vậy thực sự được xây dựng thay vì chỉ khẳng định, chúng tôi đã làm một máy tính P(tận thế) đi qua từng phần một.

Sau đó lấy nhãn ra khỏi yêu cầu. "Doomer" nhấn mạnh một tác nhân gây ra sự bi quan (một người bi quan bi quan ghét sự tiến bộ) vào một tuyên bố mà thường hẹp hơn và đần độn hơn xa: rằng công nghệ đặc biệt này mang một rủi ro đặc biệt để đảm bảo sự quan tâm đặc biệt. Gỡ nó ra. Hạt lập luận cho tương lai tốt đẹp chạy thẳng qua việc làm đúng phần này, không đi vòng qua nó.

Khi nước đi mạnh nhất một phong trào có thể dùng chống lại giới phê bình là gắn cho họ một cái tên khó nghe, phong trào đó không có câu trả lời cho rủi ro. Lập luận của chúng tôi nằm ở chỗ này: siêu trí tuệ không thể đảo ngược, nên đừng xây nó.