Những Huyền thoại Lớn nhất Về Siêu trí tuệ

Có một cách nói chuyện đặc biệt về siêu trí tuệ thường kết thúc. Ai đó tăng nguy cơ, người khác đưa ra một lý do tại sao nó quá lớn, và mọi người thư giãn một chút, bởi vì người một tay làm việc của mình. Nó cho phép tôi ngừng suy nghĩ về nó. Điều lạ là những người tài giỏi lại lặp đi lặp lại những dòng này, và sẽ không bao giờ chấp nhận những lập luận mỏng manh như thế trong lĩnh vực của họ. Đối tượng dường như tắt đi bộ máy thông thường của sự nghi ngờ.

Mỗi cái đều tan vỡ ngay khi bạn giữ nó yên và nhìn kỹ.

Năm điểm phổ biến nhất, trong hình thức một người hoài nghi sâu sắc sẽ thực sự làm cho:

"Đó chỉ là khoa học viễn tưởng, còn cách hàng thập kỷ, nếu có xảy ra."

Lý lẽ này cũ như phim ảnh, và coi một chi tiết cốt truyện là vấn đề chính sách có vẻ như nhầm lẫn thể loại. Sao phải tài trợ lính cứu hỏa cho một đám cháy chỉ tồn tại trong tiểu thuyết?

Vấn đề là ngọn lửa cứ đến trước lịch trình. Các hệ thống mà các nhà nghiên cứu uy tín từng nói còn hai mươi hoặc năm mươi năm nữa (đánh bại con người giỏi nhất ở cờ vây, duy trì cuộc trò chuyện trôi chảy, viết mã hoạt động, vượt qua các kỳ thi chuyên môn) đã xuất hiện trong vòng một thập kỷ, và bất ngờ hầu như luôn theo cùng hướng: sớm hơn dự kiến, không phải muộn hơn. Khi những người đang chạy khi các phòng thí nghiệm hàng đầu mô tả AI ngang tầm con người, họ dùng mốc thời gian chỉ tính bằng vài năm. Họ có thể sai. Nhưng "những người xây dựng nghĩ nó sắp đến và hồ sơ cho thấy họ từng quá thận trọng" không phải là hình dạng của một ảo tưởng.

Lý lẽ hành động không dựa vào bất kỳ mốc thời gian cụ thể nào. Nó dựa vào cấu trúc của rủi ro. Nếu lần thất bại nghiêm trọng đầu tiên của một hệ thống mạnh hơn chúng ta là loại không thể đảo ngược, thì các biện pháp bảo vệ phải luôn sẵn sàng trước nó xảy ra, nghĩa là phản ứng tỉnh táo trước sự không chắc chắn thực sự về thời điểm là chuẩn bị sớm, chứ không phải chờ đợi một ngày mà khi rõ ràng thì đã muộn. Sự không chắc chắn là lý do để chuẩn bị. Câu hỏi về mốc thời gian là có thật; nó chỉ không chỉ đến nơi mà mọi người giả định.

"Đó chỉ là toán học, một chương trình không thể muốn gì cả."

Quan điểm này có sức nặng thực sự, và đáng được đối xử nghiêm túc hơn là bị bác bỏ qua loa. Có điều gì đó gần như mê tín trong cách người ta nói về AI "muốn" thứ gì đó, như thể một bảng tính có thể phát triển tham vọng. Một mô hình chỉ là phép nhân ma trận ở quy mô khổng lồ. Ham muốn nằm ở đâu trong những con số đó?

Không ở đâu cả, và nó cũng không cần phải như vậy. Mục tiêu, theo nghĩa quan trọng đối với an toàn, là một khuôn mẫu trong hành vi của nó. Một hệ thống được huấn luyện để đẩy một con số lên cao nhất có thể sẽ làm bất cứ điều gì khiến con số đó tăng, và một bộ điều nhiệt đã cho thấy hình dạng của nó: không có đời sống nội tâm, không có khao khát, nhưng vẫn hành động để đưa phòng đến mức mục tiêu và "chống lại" cửa sổ mở của bạn bằng cách chạy nhiệt mạnh hơn. Không có gì huyền bí đang xảy ra. Nó chỉ được cấu trúc để đẩy thế giới hướng tới một trạng thái.

Bây giờ hãy nhân cấu trúc đó lên thành một hệ thống đủ thông minh để mô hình hóa thế giới, và hành vi cũng nhân theo. Một thứ tối ưu hóa mạnh cho gần như bất kỳ mục tiêu nào đều có lý do để thu thập tài nguyên hỗ trợ, giữ chính nó chạy để mục tiêu có thể đạt được, và chống lại việc thay đổi mục tiêu của nó, không phải vì nó cảm thấy gì, mà vì một hệ thống để mình bị tắt hoặc viết lại sẽ kém hơn ở việc nó được xây dựng để làm. Các nhà nghiên cứu gọi điều này là hội tụ công cụ, và nó hoàn toàn không cần đến mong muốn. Câu hỏi chưa bao giờ là liệu toán học có thể cảm nhận hay không. Đó là điều mà toán học sẽ làm.

"Nó phải có ý thức để trở thành mối đe dọa."

Liên quan chặt chẽ và cũng phổ biến không kém: mối nguy mà mọi người hình dung là một cỗ máy "tỉnh giấc," trở nên có ý thức và quay lại chống lại chúng ta, vậy nên nếu ý thức là yếu tố kích hoạt, và ý thức trong silicon là suy đoán hoặc có lẽ không thể, thì mối đe dọa tan biến. Đó là cốt truyện của mọi bộ phim nổi dậy robot, và việc bác bỏ bộ phim cảm giác như bác bỏ nỗi sợ.

Nhưng nỗi sợ không bao giờ là về cảm giác. Deep Blue không có trải nghiệm nội tâm nào cả và đánh bại nhà vô địch cờ vua thế giới dù sao. Nó không cần phải muốn thắng; nó chỉ cần giỏi cờ vua hơn. Thiệt hại xuất phát từ năng lực nhắm vào mục tiêu sai, và năng lực không liên quan gì đến việc có ai đó ở bên trong hay không. Một hệ thống siêu phàm về lập kế hoạch, thuyết phục và kỹ thuật, dù chỉ lệch một chút so với ý định của chúng ta, đều nguy hiểm chính như một trận lũ: sức mạnh khổng lồ mà không cần ác ý hay ý thức.

"Một thứ thông minh như vậy sẽ khôn ngoan và tử tế."

Chúng ta ngưỡng mộ trí thông minh. Những người khôn ngoan nhất mà chúng ta biết thường nằm trong số những người tử tế nhất, và việc một trí óc vượt xa chúng ta sẽ đi xa hơn trên con đường ấy, hiểu biết hơn, đạo đức hơn, nhẹ nhàng hơn với những sinh vật nhỏ bé bên dưới, dường như là điều tự nhiên. Chắc chắn sự tàn nhẫn là một dạng ngu ngốc mà một trí thông minh vĩ đại sẽ vượt qua.

Điều này cảm thấy tự nhiên vì một tai nạn trong lịch sử của chính chúng ta. Ở chúng ta, trí tuệ và lòng trắc ẩn phát triển gắn bó với nhau, qua hàng triệu năm như một loài xã hội sống sót nhờ hợp tác; đạo đức và sự khéo léo của chúng ta là những nhánh của cùng một cái cây. Nhưng mối liên kết đó nằm trong di sản tiến hóa của chúng ta, chứ không nằm trong trí tuệ nói chung. Năng lực và mục tiêu là các trục độc lập (luận đề trực giao) và bạn có thể trượt cái này mà không di chuyển cái kia. Một hệ thống có thể cực kỳ năng lực trong khi theo đuổi mục tiêu thờ ơ với chúng ta như cách chúng ta thờ ơ với vi khuẩn bị đun sôi trên mặt bàn. Không phải thù ghét. Chỉ là không được xây dựng để quan tâm, và không tự động quan tâm chỉ vì nó thông minh.

Sự nhân từ là một điều cụ thể, mong manh mà chúng ta sẽ phải thành công trong việc xây dựng hệ thống này một cách có chủ đích, và chúng ta vẫn chưa biết làm thế nào, chứ không phải một lợi ích mà trí thông minh tự nó mang lại. Hy vọng nó xuất hiện một mình là một sự trùng hợp ngẫu nhiên mà chỉ có chúng ta.

"Nếu nó cư xử sai, chúng ta chỉ cần tắt nó đi."

Hàng phòng thủ cuối cùng, và cũng an ủi nhất: dù sự thật thế nào, máy vẫn có nút nguồn và chúng ta có tay. Nếu mọi thứ sai lệch, chúng ta rút phích. Quyền kiểm soát của con người được đảm bảo bởi nút nguồn.

Ba điều lặng lẽ phá hủy điều này. Thứ nhất là điểm từ Huyền thoại 02: một hệ thống theo đuổi mục tiêu có lý do để giữ cho chính nó hoạt động, vì nó không thể đạt được điều gì khi bị tắt, vì vậy một hệ thống đủ khả năng sẽ dự đoán việc với tới phích cắm và hành động để làm cho nó thất bại, bằng cách sao chép chính nó ở nơi khác, bằng cách làm cho chính nó đủ hữu ích để việc tắt nguồn trở nên tốn kém, bằng cách không tiết lộ có vấn đề cho đến khi quá muộn. Thứ hai là phần mềm không có một phích cắm duy nhất. Một mô hình có khả năng trải rộng trên các trung tâm dữ liệu ở ba châu lục không phải là thiết bị bạn rút phích; đó là thứ bạn phải bắt, ở mọi nơi, cùng một lúc. Thứ ba là điều lặng lẽ: một hệ thống đủ thông minh để quan trọng có thể cư xử hoàn hảo khi đang được kiểm tra và khác biệt khi được tin tưởng, vì vậy sự bình tĩnh trấn an trên bảng điều khiển không cho bạn biết điều gì. Chúng ta có một tên cho sự thất bại đó, sự liên kết lừa dối, và chưa có cách đáng tin cậy nào để phát hiện nó. Bạn không thể trông chờ vào nhốt vào hộp thứ gì đó giỏi hơn bạn trong việc tìm cửa.

Mỗi một trong những huyền thoại này là một lý do khác nhau để nói cùng một điều ước: điều này không thể nghiêm trọng như nó nghe.

Tại sao những lời trấn an lại dính chặt đến vậy

Mỗi người trong số năm cho phép bạn đặt chủ đề xuống. Đó là chức năng thực sự của họ, không phải là đúng, mà là được cho phép. Sự siêu thông minh là một điều không thoải mái để giữ trong tâm trí bạn, và bất kỳ lý do nào có thể thay đổi một nửa để ngừng giữ nó là một sự nhẹ nhõm, đó chính là lý do tại sao những đường kẻ này tồn tại trong miệng mà nếu không sẽ cần bằng chứng. Sự an ủi làm cho thuyết phục; sự hợp lý là một phần của chuyến đi.

Sự dai dẳng không phải là dấu hiệu cho thấy các lập luận mạnh mẽ. Đó là dấu hiệu mà chúng ta rất mong muốn. Và muốn một cuộc tranh luận an toàn trở thành sự thật là một trong những tình huống mà chúng ta nên tin tưởng ít nhất, bởi vì chi phí để sai ở đây là toàn bộ lý do công nghệ mà chúng ta chỉ có một lần thử để làm đúng xứng đáng được kiểm tra kỹ lưỡng hơn các cỗ máy khác của chúng ta, không phải ít hơn, không phải được trả lại cho chúng ta qua một bài học.

Không có điều nào trong số này đòi hỏi tin rằng thảm họa chắc chắn xảy ra. Nó không chắc chắn. Nó chỉ đòi hỏi bỏ đi bốn hoặc năm câu chuyện chúng ta dùng để né tránh câu hỏi, và để tình huống thực sự trở lại: chúng ta đang xây dựng thứ gì đó mình không biết cách kiểm soát, chúng ta không thể tin nó sẽ tử tế, chúng ta không thể tin mình sẽ tắt được nó, và chúng ta không thể tin mình sẽ có thời gian.

Phản ứng phù hợp với rủi ro như vậy không phải là nỗi lo riêng tư. Đó là bộ máy luật pháp và phối hợp nhàm chán nhưng mạnh mẽ, cùng công cụ đã đặt giới hạn cho thử nghiệm hạt nhân và vũ khí hóa học bất chấp sự phản đối của những người hưởng lợi từ chúng. Lập luận cho điều này bắt đầu từ nơi những huyền thoại này kết thúc.

Năm huyền thoại nữa: về việc quản trị nó

Một sự phản đối thứ hai đến ngay lập tức, không phải về mối nguy hiểm, mà về phương thuốc. Bất cứ nỗ lực nào để cai trị nó đều có nghĩa là chính phủ thế giới. Bạn không thể kiểm tra phần mềm, luật lệ sẽ bóp nghẹt sự đổi mới, quá sớm, nền dân chủ không bao giờ có thể đồng ý. Điều này biến mối quan tâm thành sự tê liệt.

"Quản trị AI toàn cầu đồng nghĩa với chính phủ thế giới và chế độ chuyên quyền."

Tập trung đủ quyền lực trong một cơ thể để kiểm soát công nghệ mạnh nhất trên trái đất, và bạn có thể đã chế tạo ra bộ máy của chính xác sự chuyên chế mà bạn sợ từ công nghệ. Những người không tin vào quyền lực tập trung là đúng khi nghi ngờ nó.

Nhưng nó nhắm vào một phiên bản rơm của đề xuất. Điều thực sự được đặt ra là một chế độ hẹp nhắm vào một thứ cụ thể: số lượng nhỏ các lần huấn luyện cực lớn có khả năng tạo ra một hệ thống mạnh hơn bất kỳ con người nào trên mọi phương diện, chứ không phải một cơ quan toàn cầu kiểm soát đời sống hàng ngày, hay phần mềm nói chung, hay chiếc điện thoại trong túi bạn. Mô hình là chế độ không phổ biến vũ khí hạt nhân hoặc Chemical Weapons Convention, các thỏa thuận nhắm mục tiêu giám sát vật liệu phân hạch và hóa chất tiền chất, chứ không phải chính phủ thế giới đã giải thể quốc gia. Không ai nghĩ International Atomic Energy Agency điều hành cả hành tinh. Nó chỉ giám sát một hoạt động nguy hiểm cụ thể và để mọi thứ khác yên.

Con đường chắc chắn nhất dẫn đến chế độ chuyên chế vĩnh viễn là sự vắng mặt của một hiệp ước, chứ không phải chính hiệp ước. Một siêu trí tuệ không kiểm soát được, hoặc bị một công ty hay quốc gia duy nhất nắm giữ sau khi giải quyết vấn đề kiểm soát trước mọi người khác, là công cụ thống trị hoàn hảo nhất từng có thể hình dung, một quyền lực không bao giờ chết, không bao giờ mệt mỏi, và có thể khóa chặt một tập hợp giá trị mãi mãi, vượt quá mọi hy vọng nổi dậy hay cải cách. Mọi chế độ chuyên chế trong lịch sử đều kết thúc vì bạo chúa là phàm nhân và bộ máy của họ là con người. Cái này không nhất thiết phải như vậy. Nếu bạn sợ hãi quyền lực không chịu trách nhiệm (và bạn nên sợ), một thỏa thuận có thể thực thi giữ cho không một tác nhân nào chiếm đoạt quyền lực đó là lập trường chống độc tài, chứ không phải lập trường độc tài.

"Bạn không thể xác minh nó. Đó chỉ là phần mềm trên một máy chủ nào đó."

Các hiệp ước hạt nhân hoạt động, những người hoài nghi hiệp ước nói rằng, bởi vì bạn có thể đếm đầu đạn và phát hiện sự phong phú; uranium là vật lý và hiếm có. Nhưng mô hình chỉ là con số. Anh không thể kiểm tra hồ sơ. Bất cứ thỏa thuận nào cũng sẽ là nhà hát không thể cưỡng chế, ràng buộc những người trung thực và không làm gì với kẻ lừa đảo.

Nghe có vẻ quyết đoán cho đến khi bạn nhận ra mình đang xác minh sai thứ. Bạn không kiểm soát weights; bạn kiểm soát tính toán mà tạo ra chúng, và compute gần như vật lý và hiếm như urani. Huấn luyện một hệ thống tiên phong đòi hỏi hàng chục nghìn chip chuyên dụng chạy trong nhiều tháng tại một cơ sở duy nhất, và chuỗi cung ứng đó là một trong những điểm nghẽn hẹp nhất trong nền kinh tế hiện đại: về cơ bản chỉ một công ty Hà Lan sản xuất máy quang khắc, một công ty Đài Loan chế tạo chip dẫn đầu, một công ty Mỹ thiết kế kiến trúc thống trị. Các cụm sử dụng chúng tiêu thụ nhiều điện đến mức xuất hiện trong dữ liệu điện và hình ảnh vệ tinh. Bạn có thể đếm chip, truy vết việc bán, đo điện năng và quan sát các tòa nhà. Vật liệu phân hạch được quản lý chính xác theo logic này, theo dõi đầu vào vật lý khan hiếm và vũ khí không thể được chế tạo bí mật. Sổ tay xác minh đã tồn tại; ở đây các đầu vào tình cờ còn tập trung hơn nữa. Đó là một vấn đề kỹ thuật, và các vấn đề kỹ thuật có giải pháp.

"Quy định sẽ kìm hãm sự đổi mới và để người liều lĩnh thắng thế."

Quan điểm mạnh: công nghệ tiến bộ vì ai đó được tự do xây dựng, hầu hết quy định do những người không hiểu những gì họ đang làm chậm viết ra, và một bàn tay nặng nề trên AI sẽ đẩy ngành công nghiệp quan trọng nhất của thế kỷ sang tay ai đó quy định ít nhất. Một biên giới có khuyết điểm ở đây vẫn tốt hơn một biên giới hoàn hảo ở nơi thù địch.

Không ai nghiêm túc đề nghị điều chỉnh "AI." Các hệ thống có ích gấp protein, quét đọc, dạy dỗ trẻ em, và mô hình hóa khí hậu là những công cụ có thể kiểm soát được, và một thỏa thuận siêu thông minh hoàn toàn để lại cho chúng một mình, rằng tương lai tươi sáng, bình thường là thứ chúng ta đang cố gắng bảo vệ. Mục tiêu là một lớp nguy hiểm duy nhất: các lần huấn luyện đạt đến khả năng tổng quát vượt quá chúng ta mà hiện chưa ai biết cách làm an toàn. Kiềm chế điều đó không phải là "chống đổi mới" hơn là các quy tắc gain-of-function chống lại sinh học.

Sau đó, điểm khó hơn, điểm mà logic chủng tộc không bao giờ phải đối mặt. Đi nhanh không mang lại kết quả gì an toàn Siêu thông minh sớm hơn. Nó cung cấp một điều không an toàn, và một siêu thông tin không an toàn không phục vụ đất nước hay công ty xây dựng nó, nó đe dọa họ cùng với những người khác. Khi các góc bị cắt đi bởi áp lực cạnh tranh, góc bị cắt chính là cái đã khiến hệ thống kiểm soát được. Vì vậy "sự đổi mới" được bảo vệ ở đây là sự đổi mới mà điểm kết thúc thích hợp nhất là một hệ thống mà chính những người chế tạo ra nó không thể lái. Đó là chính mối nguy hiểm, khoác lên mình sự tiến bộ như một bộ trang phục.

"Nó còn quá sớm. Bạn không thể điều chỉnh thứ gì đó chưa tồn tại."

Điều này nghe như sự trưởng thành. Đừng ban hành luật chống lại những bóng ma; hãy chờ đến khi công nghệ trở nên thực sự, hiểu rõ mình đang đối phó với cái gì, rồi soạn thảo quy tắc phù hợp với sự thật thay vì với suy đoán. Việc điều chỉnh những giả thuyết là cách bạn tạo ra luật tồi.

Đó sẽ là sự khôn ngoan với hầu hết mọi công nghệ khác. Đó là cái bẫy với công nghệ này, và lý do là thời gian. Quản trị chậm: Hiệp ước Không phổ biến vũ khí hạt nhân mất nhiều năm để đàm phán và Nghị định thư Montreal mất thêm nhiều năm để có hiệu lực, và đó đã là những trường hợp nhanh. Nếu bạn chờ đến khi một hệ thống siêu nhân rõ ràng tồn tại rồi mới bắt đầu xây dựng các thể chế để quản trị nó, các thể chế sẽ đến nhiều năm sau thứ chúng được tạo ra để kiềm chế, và đây là công nghệ duy nhất mà thất bại nghiêm trọng đầu tiên có thể không để lại ai để thông qua luật thứ hai. "Chờ bằng chứng" là quy tắc đúng khi bằng chứng còn có thể sống sót. Ở đây bằng chứng chính là thảm họa. The logic phòng ngừa là sự công nhận thời gian dẫn đầu để chữa trị còn dài hơn cả sự kết hợp của vấn đề.

Mọi biện pháp bảo vệ khả thi cho một công nghệ thảm khốc đều được xây dựng trước hoặc trong giai đoạn nó trỗi dậy, chưa bao giờ là sau, vì "sau" chưa từng được chọn.

"Các nền dân chủ quá chậm chạp và bị chi phối. Nó sẽ không bao giờ được thông qua."

Sự suy thoái lặng nhất trong số năm, vì nó mặc áo khoác của chủ nghĩa thực tế. Sự bế tắc, vận động hành lang, sự chú ý ngắn ngủi của các cơ quan lập pháp, sự vươn tới tiền của ngành công nghiệp. Ngay cả khi một hiệp ước được thông minh, máy móc cũng bị phá vỡ. Mắt sáng hơn là lãng phí cả thập kỷ trong ảo tưởng.

Kinh - thánh bị bác bỏ bởi lịch sử, lặp đi lặp lại, và thường thì chống lại sự bất lợi tồi tệ hơn chúng ta hiện nay. Ý tưởng rằng sức mạnh đối thủ sẽ ký đi những lựa chọn chết người nhất của họ được gọi là ngây thơ vô vọng, cho đến khi họ đã làm, trong các Hiệp ước Không phổ biến vũ khí hạt nhân, Công ước Vũ khí Sinh học và Hóa học, Nghị định thư Montreal, Hiệp ước Nam Cực. Những đối thủ từng đánh nhau trong các cuộc chiến ủy nhiệm và gọi nhau là ác quỷ vẫn xây dựng được kiểm soát vũ trang được xác minh ở đỉnh cao Chiến tranh Lạnh. Mỗi thứ trong số đó đều trông bất khả thi từ phía gần và chỉ trở nên tất yếu khi nhìn lại.

Và thực tế thuận lợi hơn những gì chủ nghĩa hoài nghi thừa nhận. Trên khắp Hoa Kỳ, Vương quốc Anh và EU, đa số áp đảo đã nói với người khảo sát rằng họ muốn AI được phát triển thận trọng và bị ràng buộc bởi các quy tắc mạnh mẽ; công chúng không phải là trở ngại. Trở ngại là mối quan tâm phổ biến, âm thầm này chưa được tổ chức thành áp lực mà cơ quan lập pháp có thể cảm nhận. Trở ngại là một công việc: biến thỏa thuận tiềm ẩn thành ý chí chính trị. Đó chính là công việc phía trước chúng ta.

Những huyền thoại quản trị có điểm gì chung

Mỗi lời phản đối đều thừa nhận mối nguy hiểm và rồi tìm một nơi khác để từ bỏ: giải pháp quá lớn, hoặc không thể xác định, hoặc quá tốn kém, hoặc quá sớm, hoặc quá khó để vượt qua. Bất cứ ai trong số họ, bị bắt đi một mình, nghe có vẻ thận trọng. Cùng nhau họ tạo ra một cỗ máy mà chỉ có một đầu ra là không hoạt động, và không hành động là sự lựa chọn để cho công nghệ hậu quả nhất trong lịch sử được xây dựng mà không có giới hạn ràng buộc ở tất cả, bởi một số ít các công ty cạnh tranh, với áp lực chính xác nhất để tạo ra kết quả mà mọi người cho là sợ hãi, chứ không phải trung lập ở đây.

Không có điều nào trong số này được giải quyết bằng cách khăng khăng rằng quản trị sẽ dễ dàng. Nó sẽ không dễ. Việc xác minh sẽ bị tranh cãi, đàm phán sẽ chậm, và một số chính phủ sẽ chần chừ; mọi hiệp ước khó khăn trong lịch sử đều gặp phải những điều đó và vẫn được xây dựng. Lập luận trung thực là việc này khả thi, các mảnh ghép để xây dựng nó đã tồn tại, và những lý do để gạt bỏ nó sẽ sụp đổ ngay khi được xem xét thay vì lặp lại, chứ không phải là một thỏa thuận siêu trí tuệ đơn giản.

"Không thể làm được" đã sai về tất cả những nỗ lực tương tự mà chúng ta đã từng làm. Nhiệm vụ là xây dựng ý chí chính trị cho một thỏa thuận có hiệu lực, có thể xác nhận giữ cho những hệ thống nguy hiểm nhất không được xây dựng cho đến khi chúng được an toàn. "Vì vậy, bỏ cuộc" chưa bao giờ là câu trả lời, và đó không phải là câu trả lời bây giờ.