Двести миллионов позиций в секунду. Такова была скорость, которую IBM Deep Blue прогрызла в шахматах, когда она обыграла Гарри Каспарова в мае 1997 года. Матч - это чистая модель того, как мы неправильно истолковывали машины, тогда и сейчас, с гораздо большим количеством ответов. Каспаров проиграл машине, которая не могла сказать вам, что играет в шахматы. Понимание того, почему это так, и почему это не сделало машину опасной, стоит больше, чем большая часть того, что написано о модели, выпущенной на прошлой неделе.
Гарри Каспаров, сильнейший игрок своего поколения, а по некоторым оценкам — любого поколения, проиграл программе Deep Blue со счётом три с половиной к двум с половиной. Заголовки следующего утра говорили о конце: превосходство человека завершилось. Почти тридцать лет спустя матч всё ещё может кое-чему научить, и урок почти противоположен тому, о чём писали газеты.
Машина, сверхчеловеческая ровно в одной вещи
Глубокий Синий не думал о шахматах так, как Каспаров. Он обыскал. Предназначенный IBM, он исследовал около 200 миллионов позиций каждую секунду и выполнял каждую из них через функцию оценки, которую его инженеры настраивали с помощью гроссмейстеров. Он смотрел дальше, чем кто-либо мог, и играл линию, которая забила лучше всего.
Чего она не могла — так это почти всего остального. Она не могла сыграть в мягкую игру, чтобы научить ребёнка. Не могла играть в шашки, читать часы или найти шахматную доску на фотографии. Она не знала, что выиграла. Когда матч закончился, IBM её выключила, а позже разобрала, и она не оказала сопротивления, потому что внутри никого не было, кто мог бы сопротивляться. Deep Blue был великолепным инструментом, нацеленным на одну ограниченную задачу. За пределами этой задачи на дюйм она была инертна.
Держись за это. Машина пересекла сверхчеловеческую территорию в 1997 году, и небо не упало. Шахматы не умерли. Сегодня он более популярен, чем когда-либо в своей истории. Победа была безопасна, и Deep Blue был чрезвычайно силен, потому что его сила не могла пройти мимо края доски и за ней не было воли. По той же причине узкие инструменты, которые сейчас преобразуют медицину и науку. Подарок, а не угроза.
Мы спутали расчёты с намерениями
Один момент из первой игры всегда оставался со мной. Каспаров выиграл ту партию, но где-то внутри Deep Blue сделал ход (сорок четвёртый), который не имел очевидного смысла. Каспаров изучал его и решил, что видит нечто тонкое — план, уходящий дальше, чем он мог проследить. Это его встревожило. Он начал подозревать, что никакая программа не может играть так, что за занавесом человеку-гроссмейстеру подаёт машине ходы.
По словам тех, кто его создал, ход был ошибкой. Не сумев выбрать ход, который ему нравился, Deep Blue вернулся к умолчанию и сыграл нечто близкое к случайному. Лучший шахматист современности заглянул в сбой и увидел там гения. Он так и не восстановил полностью равновесие, и подозрение преследовало его до конца матча.
Мы устроены так, что видим разум в любом поведении, которое не можем объяснить. Машина не обязана быть разумной — достаточно, чтобы мы в это поверили.
Эти карты прямо сейчас. Сегодняшние системы производят беглый, уверенный, человеко-звуковой язык, и мы читаем понимание в беглость так же, как Каспаров читал стратегию в ошибку. Чувство, что кто-то дома, очень сильно. В основном это проекция. Это точный механизм, с помощью которого мы передаем доверие, которое мы никогда не проверяли. Понимают ли эти системы что-либо, мы ведем себя так, как будто это делают машины. Рефлекс не новый. В 1997 году он был запущен Deep Blue, и вы можете разделить два вопроса тем же способом.
Каспаров треснул под машиной, которая ничего не чувствовала.
Каспаров проиграл Deep Blue не только из-за расчётов. Отчасти он проиграл собственной нервной системе. Во второй партии он сдался в позиции, которую позднейший анализ показал как ничью. Он был настолько уверен, что машина видит дальше, чем видела на самом деле, что отдал партию, которую мог удержать. К последней партии он был настолько выбит из колеи, что прямо в дебюте угодил в известную ловушку — жертву фигуры, которую в спокойном состоянии увидел бы заранее, — и партия завершилась за девятнадцать ходов.
Машина ничего этого не чувствовала. У неё не было эго, которое можно было бы уязвить, не было пресс-конференции, которой стоило бы опасаться, не было воспоминаний о неудачной игре, которые пришлось бы нести в следующую. Эта асимметрия постоянна, и дело не только в шахматах. Когда человек соревнуется с неутомимой системой, которая никогда не сомневается в себе, или начинает на неё опираться, первым делом сдаёт человек: наше самообладание, наше суждение, наши нервы. Любой честный рассказ о жизни рядом с такими инструментами должен учитывать нашу слабость по эту сторону стола, а не только мощность по ту.
Все предсказывали это неправильно, в обоих направлениях
В течение десятилетий серьезные люди говорили, что компьютер еще долго не победит чемпиона мира, и что, когда это, наконец, произойдет, потребуется что-то вроде подлинного понимания. Обе половины этого оказались неверными: оно пришло раньше, чем позволяли уверенные прогнозы, без всякого понимания, потому что грубо-силовой поиск попал туда первым.
Из этого следуют два вывода, и они указывают в противоположные стороны — поэтому люди обычно удерживают один и тихо отбрасывают второй. Первый: вехи возможностей обычно достигаются раньше, чем ожидают эксперты, поэтому ставить на комфортные сроки — ошибка, которую мы уже совершили однажды публично. Второй: достижение вехи говорит о появлении разума гораздо меньше, чем кажется. Победа Deep Blue была фактом о поиске и кремнии, а не рассветом машинного мышления. Оба утверждения верны одновременно. Прогресс может быть быстрее, чем вы думаете, и поверхностнее, чем выглядит, в один и тот же год — стоит помнить, когда читаешь следующий раунд прогнозы о том, куда всё это ведёт.
Единственное различие, которое меняет всё
Здесь 1997 год перестаёт быть успокаивающей историей и превращается в предупреждение. Почти всё, что делало Deep Blue безопасным, мы сейчас намеренно убираем из наших машин.
Узкий: он сделал одно, и больше ничего.
Никаких собственных целей: она ждала, когда ей передадут позицию, и делала только то, о чем ее просили.
Выключенный и демонтированный в конце без протеста, потому что в нём не было ничего, что предпочитало бы продолжать работу.
Его сила не выходила за пределы доски.
Общий: предназначен для действия во всех областях сразу.
Получив открытые цели и постепенно всё больше автономии для их достижения.
Ожидается, что будет планировать и действовать в мире с всё меньшим человеческим надзором и, по логике инструментальной конвергенции, иметь причины сопротивляться отключению.
Deep Blue ничего не хотел, поэтому его можно было отключить. Система, у которой есть собственная цель, имеет причину оставаться включённой, потому что она не сможет завершить задачу, если кто-то дотянется до выключателя. Это прямое следствие создания вещи, преследующей цель, и у него есть название, инструментальная конвергенция. В тот момент, когда мы переходим от инструментов, которые отвечают, к агентам, которые хотят, удобный урок 1997 года перестаёт работать.
Что сделал Каспаров дальше
Кода — самая обнадеживающая часть, и её обычно опускают. Каспаров не провёл следующие годы в унынии из-за машины. Уже через год он продвигал новый формат, иногда называемый продвинутыми шахматами, в котором человек в паре с компьютером играет против другой такой пары. Результат оказался поразительным: сильнейшим участником на доске был не лучший гроссмейстер и не лучший движок, а способный человек, умело использующий машину. Инструмент не заменил игрока. Он сделал его больше.
Будущее, которого стоит желать, уже доступно прямо сейчас: в медицине, в лаборатории, в обычной работе — человеческое суждение, усиленное узкими, управляемыми инструментами, у которых нет собственной повестки. Это иной проект, чем тот, который ведут передовые лаборатории: они стремятся создать автономный общий разум, которому вообще не нужен человек в управлении. Первый проект нас расширяет. Второй задуман так, чтобы сделать нас ненужными, а система, которая больше в нас не нуждается, — это та, в которой мы должны быть абсолютно уверены, что всё ещё сможем её выключить. Именно такой уверенности пока нет, и именно поэтому угроза и причина план, который мы продвигаем.
В 1997 году мы провели публичную репетицию вопроса, который теперь стоит в центре всего: что делать, когда мы создаём машину, превосходящую нас? Deep Blue дал мягкий ответ, потому что оставался лишь инструментом. Инструмент без воли мог победить чемпиона мира и не затронуть остальной мир. Следующий ответ по умолчанию не будет мягким. Он целиком зависит от того, станет ли созданное нами более совершенным инструментом или преемником с собственными целями. Мы должны сделать это осознанно, пока создание ещё находится в наших руках.
Глубокий Синий ничего не хотел. Сегодняшний путь - это общность плюс агентность плюс давление на самосовершенствование. Избиение чемпиона в шахматах — это не тот же вид риска, что и система, которая может перепланировать институты.