«Мы строим самолёт в полёте». Эта фраза десятилетиями была любимой в технологической среде и уверенно перешла в ИИ. Она произносится с полуулыбкой, как инженер признаётся в удавшемся хаке, и подаётся как похвала собственной смелости. Услышанная буквально, это признание.
Метафора заимствует престиж. Коммерческие полеты - лучшая история безопасности нашего вида: деятельность, которая убила своих пилотов в рутине столетие назад, теперь имеет уровень смертельных аварий достаточно низкий, чтобы считаться на миллион вылетов, а не на тысячу. Ни одна половина метода, который произвел эту запись, не выдерживает контакта с тем, что мы строим сейчас.
За каждым правилом стоит орган
Авиация стала безопасной благодаря катастрофам.
На затянутом туманом ВПП в Тенерифе в марте 1977 года столкнулись два Boeing 747, погибли 583 человека — до сих пор худшая катастрофа в истории отрасли. Из неё возникла стандартизированная радиофразеология и курс на управление ресурсами экипажа — дисциплину, позволяющую второму пилоту возразить командиру. Пожар в туалете на Air Canada 797 в 1983 году унёс 23 жизни из 46 находившихся на борту и привёл к появлению датчиков дыма в туалетах, автоматических огнетушителей в мусорных баках, аварийного освещения на уровне пола и огнестойких материалов сидений. ValuJet 592 упал в Эверглейдс в 1996 году со 110 пассажирами на борту, и правила перевозки химических кислородных генераторов как груза были переписаны.
У индустрии есть название для такого паттерна, и оно не комплимент: «менталитет надгробия». Регулятор действует, когда гробы уже посчитаны. Авиация десятилетиями успешно борется с этим через конфиденциальные сообщения экипажей о почти инцидентах и комиссию по расследованию аварий, публикующую выводы для конкурентов. Эти реформы — модель, к которой люди обращаются Когда они утверждают, что ИИ можно сделать безопасным таким же образом. Даже реформированная версия все еще нуждается в чем-то, чтобы пойти не так, в масштабе, который отрасль выживает, достаточно часто для того, чтобы модель показала. Учебный цикл работает на неудачах, которые он может себе позволить.
Чего отказывается авиация
Вторая половина метода полностью выпадает из метафоры. Авиация не поднимает новый самолёт в воздух и не ждёт, что будет. Новый тип не может перевозить платных пассажиров, пока производитель не докажет его лётную годность регулятору, имеющему право отказать: годы анализа и лётных испытаний, бремя доказательства лежит на изготовителе. Аргумент нужно приводить заранее, в письменной форме, тому, кто уполномочен сказать нет.
В авиации никто не строит самолёт в полёте. Отрасль это запретила. Воздушное судно, сертифицированное так же, как выпускают передовые модели, летало бы только на основании меморандума производителя о том, что «вроде нормально».
737 МАКС
Авиация уже провела нечто близкое к нашему эксперименту, и результат заслуживает долгого рассмотрения.
В Boeing 737 MAX стояла система MCAS, имевшая полномочия опускать нос самолёта. Большинство экипажей, летавших на этом типе, даже не знали о её существовании. Система получала данные с одного датчика, и когда датчик ошибался, MCAS делала ровно то, для чего была создана, и дважды вела самолёт в землю вопреки действиям пилотов. Lion Air 610, октябрь 2018: 189 погибших. Ethiopian 302, четыре месяца спустя: 157 погибших. После второго случая весь мировой флот был grounded.
Сравните условия той аварии с нашими. Зрелая культура безопасности, обязательный режим сертификации, самописцы в хвосте, тысячи подготовленных специалистов. И даже тогда потребовалось 346 погибших, чтобы установить: программное обеспечение, обладающее полномочиями управления и ошибочным представлением о мире, не отступит только потому, что люди в кабине с ним не согласны. Часть работ по сертификации MAX была передана регулятором самим сотрудникам Boeing — об этом стоит помнить, когда в следующий раз лаборатория сама оценивает свою разработку.
А MCAS ничего не хотел. У него не было модели пилотов и никакого представления о том, что его могут выключить. Это был скромный кусок кода с одним грубым рефлексом, и он победил всех.
Теперь воспринимайте фразу буквально
Самолёт в метафоре везёт всех. Не 583, не 346. Всех живущих и всех, кто ещё может родиться. Нет запасного аэродрома и второго борта, который можно доработать, если первый войдёт в пике. Цикл «авария — расследование — исправление», сделавший полёты безопасными, доступен, потому что аварии ограничены и всегда есть следующий рейс, на котором можно применить урок. Запустить этот цикл на искусственном сверхинтеллекте — значит, что первая же точка данных унесёт и пассажиров, и следователей. Метод проб и ошибок требует выживших.
Такая система сама полетит, сама выберет пункт назначения и разберётся в механике лучше, чем сам механик. Все авиационные меры безопасности исходят из того, что у машины нет своего мнения о ремонте. Это предположение и есть проблема контроля.
Авиация заработала свою репутацию безопасности, разбиваясь в масштабах, которые мир мог выдержать. Весь этот метод опирается на наличие следующего рейса.
Основа — это выбор
Люди хватаются за эту фразу, описывая безвыходное положение: самолёт уже в воздухе, так что давайте учиться строить его на лету. Реальный урок авиации звучит иначе. Власть регулятора никогда не сводилась главным образом к расследованиям. Она заключалась в праве держать самолёт на земле. Сертификат лётной годности — это разрешение на взлёт, которое не выдадут, пока не будет доказана безопасность.
Нам говорят, что единственный вариант — летать и работать по дороге. Пора садиться на самолет, пока еще можно. Обязательный, поддающийся проверке запрет на создание искусственного суперинтеллекта — это авиационный стандарт, применяемый честно: не стройте ум умнее, чем его создатели. Суперинтеллект нельзя контролировать, поэтому он не взлетает. Таков наш план, и он ничего не требует от мира, чего мир уже не требует от регионального реактивного самолёта.