Hai trăm triệu vị trí một giây. Đó là tốc độ mà IBM's Deep Blue nhai trong cờ vua khi nó đánh bại Garry Kasparov vào tháng 5 năm 1997. Trận đấu là một mô hình rõ ràng về cách chúng ta hiểu sai về các cỗ máy, và bây giờ, với một cuộc đua lớn hơn trên câu trả lời. Kasparov thua một cỗ máy không thể nói cho bạn biết nó đang chơi cờ vua. Hiểu tại sao điều đó là đúng, và tại sao nó không làm gì khiến cỗ máy nguy hiểm, lại đáng giá hơn hầu hết những gì được viết về mô hình phát hành tuần trước.

Garry Kasparov, người chơi mạnh nhất thế hệ ông, và theo một số đánh giá là của mọi thế hệ, đã thua trước một chương trình tên Deep Blue, ba điểm rưỡi đến hai điểm rưỡi. Tiêu đề báo sáng hôm sau nói về một kết thúc: sự thống trị của con người đã chấm dứt. Gần ba mươi năm sau, trận đấu vẫn còn điều để dạy, và điều đó gần như ngược hẳn với những gì tiêu đề nói.

Một cỗ máy siêu phàm ở đúng một việc

Sâu Blue không nghĩ về cờ vua như Kasparov. Nó đã tìm. Mục đích được xây dựng bởi IBM, nó đã kiểm tra một cái gì đó theo thứ tự 200 triệu vị trí mỗi giây và chạy mỗi một thông qua một chức năng đánh giá mà các kỹ sư của nó đã điều chỉnh với sự giúp đỡ từ các đại gia. Nó nhìn xa hơn bất cứ ai có thể và chơi những trò hay nhất.

Những gì nó không thể làm gần như là mọi thứ khác. Nó không thể chơi một trò chơi nhẹ nhàng để dạy trẻ em. Nó không thể chơi cờ đam, hoặc đọc đồng hồ, hoặc tìm bàn cờ trong ảnh. Nó không biết mình đã thắng. Khi trận đấu kết thúc, IBM tắt nó và sau đó tháo rời, và nó không chống cự, vì không có ai bên trong để chống cự. Deep Blue là một nhạc cụ tuyệt vời nhắm vào một vấn đề có giới hạn. Cách một inch bên ngoài vấn đề đó nó bất động.

Cầm cái này. Vào năm 1997, một cỗ máy đi vào lãnh thổ siêu phàm, và bầu trời không sụp đổ. Cờ vua không chết. Ngày nay nó phổ biến hơn bất cứ thời điểm nào trong lịch sử. Chiến thắng đã an toàn với Deep Blue cực kỳ mạnh mẽ, bởi vì sức mạnh của nó không vượt qua được giới hạn của bảng và không có ý chí phía sau nó. Cùng lý do với những công cụ hẹp hiện nay đã biến đổi y học và khoa học Một món quà chứ không phải một mối đe dọa..

Chúng ta đã nhầm lẫn giữa tính toán và ý định

Có một khoảnh khắc từ ván cờ đầu tiên luôn ở lại với tôi. Kasparov thắng ván đó, nhưng ở đâu đó bên trong Deep Blue đã thực hiện một nước đi (nước thứ bốn mươi tư) không có ý nghĩa rõ ràng. Kasparov nghiên cứu và kết luận ông đang nhìn thấy điều gì đó tinh tế, một kế hoạch vươn xa hơn ông có thể theo kịp. Điều đó làm ông bối rối. Ông bắt đầu nghi ngờ rằng không phải chương trình đơn thuần nào cũng có thể chơi theo cách đó, rằng một đại kiện tướng con người đang đưa nước đi cho cỗ máy từ sau tấm màn.

Theo lời kể của những người xây dựng nó, nước đi đó là một lỗi. Không thể chọn được nước nào mình thích, Deep Blue đã quay về mặc định và chơi thứ gì đó gần như nhiễu. Trí óc cờ vua vĩ đại nhất còn sống đã nhìn vào một lỗi kỹ thuật và thấy một thiên tài nhìn lại. Ông chưa bao giờ hoàn toàn lấy lại được thế đứng, và sự nghi ngờ theo ông suốt phần còn lại của trận đấu.

Chúng ta được lập trình để nhìn thấy một tâm trí ở bất cứ đâu khi gặp hành vi mà chúng ta không thể giải thích. Máy móc không cần phải thông minh. Chúng ta chỉ cần tin rằng nó là như vậy.

Bản đồ ngay bây giờ. Hệ thống ngày nay tạo ra một ngôn ngữ trôi chảy, tự tin và âm thanh của con người, và chúng ta đọc sự hiểu biết vào sự phức tạp giống như cách Kasparov đọc chiến lược vào lỗi. Cảm giác có người ở nhà rất mạnh. Chủ yếu là một hình chiếu. Đó là cơ chế chính xác mà chúng ta trao cho nhau lòng tin mà chúng ta chưa bao giờ kiểm tra. Cho dù những hệ thống này hiểu bất cứ điều gì, chúng ta hành động như máy móc. Phản xạ không phải mới. Nó ngồi đối diện với Deep Blue năm 1997, và bạn có thể tách hai câu hỏi ra cùng một cách.

Kasparov bị nứt dưới một cỗ máy không cảm thấy gì.

Kasparov không thua Deep Blue chỉ vì khả năng tính toán. Ông thua một phần vì hệ thần kinh của chính mình. Trong ván thứ hai ông bỏ cuộc ở một thế sau đó phân tích cho thấy là hòa. Ông quá chắc chắn rằng cỗ máy đã nhìn xa hơn thực tế nên đã bỏ một ván ông có thể giữ được. Đến ván cuối ông đã hoảng loạn đến mức đi thẳng vào một cái bẫy đã biết trong khai cuộc, một sự hiến quân ông sẽ thấy trước trong bất kỳ buổi chiều bình tĩnh nào, và ván kết thúc chỉ sau mười chín nước.

Cỗ máy không cảm nhận được điều này. Nó không có cái tôi để bị tổn thương, không có buổi họp báo để lo sợ, không có ký ức về một trận đấu tệ để mang sang trận sau. Sự bất đối xứng này là vĩnh viễn, và nó không thực sự chỉ về cờ vua. Khi một con người cạnh tranh với, hoặc dựa dẫm vào, một hệ thống không mệt mỏi và không bao giờ nghi ngờ chính mình, thứ đầu tiên có xu hướng sụp đổ là con người: sự bình tĩnh, phán đoán và sự vững vàng của chúng ta. Bất kỳ lời kể trung thực nào về việc sống bên cạnh những công cụ này đều phải đối mặt với sự mong manh ở phía chúng ta, chứ không chỉ sức mạnh ở phía bên kia.

Mọi người đều dự đoán sai điều này, theo cả hai hướng

Trong nhiều thập kỷ, những người nghiêm túc đã nói rằng máy tính sẽ không đánh bại nhà vô địch thế giới trong một thời gian dài, và khi nó cuối cùng đã làm, nó sẽ cần một cái gì đó giống như sự hiểu biết chân thành để đạt được. Cả hai nửa của điều đó hóa ra sai: nó đến sớm hơn dự báo tự tin cho phép, mà không có sự hiểu biết ở tất cả, bởi vì tìm kiếm vũ phu đã có đầu tiên.

Hai bài học rút ra từ đó, và chúng chỉ theo hướng ngược nhau, đó là lý do mọi người thường giữ lại một bài học và lặng lẽ bỏ qua bài học kia. Thứ nhất: các mốc năng lực thường đến sớm hơn chuyên gia dự đoán, nên đặt cược vào timeline thoải mái là sai lầm chúng ta đã mắc phải một lần, trước công chúng. Thứ hai: một mốc đến cho bạn biết ít hơn nhiều về sự xuất hiện của một trí óc so với cảm giác nó mang lại. Chiến thắng của Deep Blue là sự kiện về tìm kiếm và silicon, không phải bình minh của tư duy máy móc. Cả hai đều đúng cùng lúc. Tiến bộ có thể nhanh hơn bạn nghĩ và nông hơn trông có vẻ trong cùng một năm, đáng nhớ khi bạn đọc vòng tin tức tiếp theo về những dự báo về hướng đi của tất cả những điều này.

Sự khác biệt duy nhất thay đổi mọi thứ

Đây là lúc năm 1997 không còn là câu chuyện an ủi mà trở thành lời cảnh báo. Hầu hết những thứ từng khiến Deep Blue an toàn đều là đặc tính mà chúng ta hiện đang cố tình loại bỏ khỏi máy móc của mình.

Deep Blue, 1997

Nó chỉ làm một việc, và không làm gì khác.

Không có mục tiêu của riêng nó: nó chờ được giao một vị trí và chỉ làm theo yêu cầu.

Bị tắt và tháo dỡ ở cuối mà không có sự phản đối, bởi vì không có gì trong nó thích tiếp tục chạy.

Sức mạnh của nó không vươn ra ngoài bàn cờ.

Các hệ thống đang được xây dựng

Chung: có nghĩa là để hành động trên tất cả các lĩnh vực cùng một lúc.

Được giao các mục tiêu mở và ngày càng nhiều quyền tự chủ để theo đuổi chúng.

Dự kiến sẽ lập kế hoạch và hành động trong thế giới với ít sự giám sát của con người hơn, và theo logic của instrumental convergence, có lý do để chống lại việc bị tắt nguồn.

Deep Blue không muốn gì cả, nên nó có thể bị rút phích. Một hệ thống có mục tiêu riêng của nó có lý do để tiếp tục chạy, vì nó không thể hoàn thành nhiệm vụ nếu ai đó chạm công tắc. Đó là hệ quả rõ ràng khi xây dựng một thứ theo đuổi mục tiêu, và nó có tên là, hội tụ công cụ. Khoảnh khắc chúng ta vượt từ công cụ trả lời sang tác nhân có mong muốn, bài học an tâm từ năm 1997 sẽ hết hiệu lực.

Những gì Kasparov làm tiếp theo

Coda là phần lạc quan nhất, và thường bị bỏ qua. Kasparov không dành những năm sau đó để buồn bã vì cỗ máy. Trong vòng một năm ông đã thúc đẩy một thể thức mới, đôi khi gọi là cờ vua nâng cao, trong đó một con người kết hợp với máy tính thi đấu với một cặp tương tự. Điều nổi bật là: đối thủ mạnh nhất trên bàn cờ không phải đại kiện tướng giỏi nhất cũng không phải động cơ mạnh nhất, mà là một con người có năng lực biết dùng máy tốt. Công cụ không thay thế người chơi. Nó khiến anh ta trở nên lớn hơn.

Tương lai đáng mong muốn đang được hiện thực hóa ngay bây giờ: trong y học, trong phòng thí nghiệm, trong công việc thường ngày, phán đoán của con người được mở rộng bởi các công cụ hẹp, có thể kiểm soát và không có mục tiêu riêng. Đó là một dự án khác với dự án mà các phòng thí nghiệm tiên phong đang chạy, tức là xây dựng trí tuệ tổng quát tự chủ không cần con người nào ngồi trên bàn cả. Loại dự án đầu tiên mở rộng khả năng của chúng ta. Loại thứ hai được thiết kế để khiến chúng ta trở nên không cần thiết, và một hệ thống không còn cần đến chúng ta là thứ mà chúng ta tốt nhất nên chắc chắn vẫn có thể tắt được. Sự chắc chắn đó chính xác là thứ chưa tồn tại, đó là mối đe dọa và lý do cho kế hoạch mà chúng ta đang thúc đẩy.

Năm 1997 chúng ta đã tổ chức một buổi diễn tập công khai cho câu hỏi giờ đang nằm ở trung tâm của mọi thứ: chúng ta làm gì khi xây dựng một cỗ máy giỏi hơn chúng ta? Deep Blue đưa ra câu trả lời nhẹ nhàng, vì nó chỉ ever là một công cụ. Một công cụ không có ý chí có thể đánh bại nhà vô địch thế giới và để thế giới còn lại không bị ảnh hưởng. Câu trả lời tiếp theo sẽ không nhẹ nhàng theo mặc định. Nó hoàn toàn phụ thuộc vào việc thứ chúng ta xây dựng là một công cụ tinh xảo hơn hay một người kế nhiệm có mục tiêu riêng. Chúng ta nên làm điều đó một cách có chủ đích, trong khi việc làm nó vẫn còn nằm trong tay chúng ta.

Sâu Blue không muốn gì cả. Con đường ngày nay là sự tổng quát cộng với cơ quan cộng với áp lực tự cải thiện. Đánh bại một nhà vô địch cờ vua không phải là cùng một loại rủi ro như một hệ thống có thể vượt trội hơn thể chế.