Возражения против управления суперинтеллектом делают хитрый ход. Они признают опасность («конечно, возможно, это рискованно») и затем незаметно переносят невозможность с технологии на решение. Если риск нельзя отрицать, возможно, ответ можно представить наивным, опасным самим по себе или просто безнадёжным. Эффект тот же, что и при прямом отрицании риска: ничего не делается.
Правила задушат инновации и отдадут лидерство безрассудным. Ещё слишком рано. И в любом случае демократии никогда не договорятся. Эти аргументы превращают обеспокоенность в паралич.
Ниже пять возражений, которые я слышу чаще всего, изложенных максимально сильно, потому что опровержение слабой версии никого не убеждает. Родственное семейство возражений (что Китай не согласится, что компании сами себя отрегулируют, что плохую систему можно просто выключить) я уже разобрал на Страница мифов. Эти пять касаются самого управления.
"Глобальное управление ИИ означает мировое правительство и тиранию."
Сосредоточьте достаточно полномочий в одном органе, чтобы контролировать самые мощные технологии на Земле, и вы, возможно, построили механизм именно той тирании, которой вы боялись от технологии. Люди, которые не доверяют централизованной власти, имеют право не доверять ей.
Но он нацелен на соломенное чучело предложения. На деле речь идёт об узком режиме, направленном на одну конкретную вещь: небольшое число чрезвычайно крупных тренировочных запусков, способных создать систему мощнее любого человека во всех областях, а не о глобальной власти над повседневной жизнью, не о контроле над софтом в целом и не над телефоном в кармане. Модель — это режим ядерного нераспространения или Конвенция о химическом оружии, целевые соглашения, отслеживающие делящиеся материалы и прекурсоры, а не мировое правительство, упразднившее национальные государства. Никто не считает, что МАГАТЭ управляет планетой. Оно контролирует конкретную опасную деятельность и оставляет всё остальное в покое.
Вернейший путь к постоянной тирании — это не договор, а его отсутствие. Неконтролируемый суперинтеллект или суперинтеллект, захваченный одной компанией или государством, которое решит проблему контроля раньше всех остальных, — это самое совершенное орудие господства из всех мыслимых, власть, которая никогда не умирает, никогда не устаёт и может закрепить один набор ценностей навсегда, без надежды на бунт или реформу. Любая тирания в истории заканчивалась, потому что тираны смертны, а их механизм — человеческий. Здесь это не обязательно. Если вас пугает неподотчётная власть (а так и должно быть), то исполнимое соглашение не дать ни одному игроку захватить эту власть — это антиавторитарная позиция, а не авторитарная.
"Вы не сможете это проверить. Это просто софт на каком-то сервере."
Ядерные договоры работают, говорят скептики, потому что можно считать боеголовки и обнаруживать обогащение; уран физический и редкий. Но модель — это просто цифры. Вы не можете проверить файл. Любое соглашение было бы невыполнимым театром, связывающим честного и ничего не делающим с обманом.
Звучит решительно, пока не замечаешь, что проверяешь не то. Вы контролируете не веса, вы контролируете вычислить что их производит, а вычислительные мощности примерно так же физичны и редки, как уран. Обучение передовой системы требует десятков тысяч специализированных чипов, работающих месяцами в одном центре, и эта цепочка поставок — один из самых узких узких мест современной экономики: по сути, одна голландская компания производит литографические машины, одна тайваньская — передовые чипы, одна американская — доминирующую архитектуру. Кластеры, использующие их, потребляют столько энергии, что их видно в данных по электроснабжению и на спутниковых снимках. Можно пересчитать чипы, отследить их продажу, измерить потребление энергии и наблюдать за зданиями. Именно по этой логике регулируется расщепляющийся материал: отслеживая scarce физический ресурс, невозможно тайно создать оружие. Пособие по верификации уже существует; входы здесь, как правило, ещё более концентрированы. Это инженерную проблему, и инженерные проблемы имеют решения.
"Регулирование задушит инновации и позволит победить безрассудным."
Сильная версия: технологии развиваются, потому что кто-то свободен их строить, большинство регулирования пишут люди, не понимающие, что тормозят, а жёсткая рука над ИИ отдаст важнейшую отрасль века тому, кто регулирует меньше всего. Лучше неидеальный фронтир здесь, чем безупречный где-нибудь во враждебной юрисдикции.
Никто всерьез не предлагает регулировать "ИИ". Полезные системы сворачивания белков, сканирования чтения, обучения детей и моделирования климата являются узкими, контролируемыми инструментами, и соглашение о суперинтеллекте оставляет их совершенно одинокими. светлое, обычное будущее это то, что мы пытаемся защитить. Цель — один опасный класс: тренировки, стремящиеся к общей способности, превосходящей нашу, которую пока никто не умеет делать безопасной. Ограничение именно этого не более «антиинновационно», чем правила по gain-of-function для биологии.
Тогда более сложный момент, с которым логика гонки никогда не сталкивается. Быстрое движение не обеспечивает безопасный Скоро суперинтеллект. Он доставляет небезопасный, а небезопасный суперинтеллект не служит стране или компании, которая его построила, он угрожает им вместе со всеми остальными. Когда углы сокращаются под конкурентным давлением, угол, который сокращается, является тем, который сделал бы систему контролируемой. Таким образом, «инновация», защищаемая здесь, — это инновация, наиболее вероятной конечной точкой которой является система, которой не могут управлять ее собственные производители. Это то, что сама опасность, нося прогресс как костюм.
"Это преждевременно. Нельзя регулировать то, чего не существует."
Это похоже на зрелость. Не стоит legisлировать против призраков: дождитесь, пока технология станет реальной, поймите, с чем имеете дело, и тогда пишите правила под факты, а не под домыслы. Регулирование гипотетического — путь к плохим законам.
Это было бы мудростью почти для любой другой технологии. Для этой — ловушка, и причина — в сроках. Управление медленное: Договор о нераспространении ядерного оружия разрабатывался годами, Монреальский протокол — ещё дольше, и это были быстрые случаи. Если ждать, пока сверхчеловеческая система явно появится, и только потом начинать строить институты для её управления, институты придут через годы после того, что они должны были сдерживать, а это именно та технология, чья первая серьезная неудача может оставить никого, кто примет второй закон. «Ждать доказательств» — разумное правило, когда доказательство можно пережить. Здесь доказательством является катастрофа логика предосторожности Это признание того, что время, необходимое для лечения, больше, чем время предохранителя от проблемы.
Любая работающая защита от катастрофической технологии создавалась до или во время её появления, никогда после, потому что «после» просто не предлагалось.
"Демократии слишком медлительны и подконтрольны. Закон никогда не примут."
Самая тихая из пяти, потому что она носит шерсть реализма. Затор, лоббирование, нехватка внимания законодательных органов, досягаемость денег отрасли. Даже если бы договор был мудрым, механизм его производства был бы сломан. Лучше быть ясным, чем тратить десятилетие на фантазию.
Это опровергается историческими записями, неоднократно, и обычно против худших шансов, чем мы сталкиваемся сейчас. Мысль о том, что соперничающие державы откажутся от своих смертоносных вариантов, называлась безнадежно наивной, пока они этого не сделали. Договор о нераспространении, Конвенции о биологическом и химическом оружии, Монреальский протокол, Договор об Антарктике. Противники, которые вели прокси-войны и называли друг друга злом, всё равно создали верифицированный контроль над вооружениями в разгар холодной войны. Каждое из этих решений казалось невозможным с ближней стороны и неизбежным лишь задним числом.
И почва более благоприятна, чем признаёт цинизм. В Соединённых Штатах, Соединённом Королевстве и EU, крупные большинства уже говорят социологам, что хотят осторожной разработки ИИ и жёстких правил; общественность — не препятствие. Препятствие в том, что эта широкая тихая обеспокоенность ещё не превратилась в давление, которое ощутит законодательный орган. Препятствие — это работа: превращение скрытого согласия в политическую волю. Именно это и есть работа, стоящая перед нами.
Что объединяет эти пять
Каждое возражение признает опасность, а затем находит другое место, чтобы сдаться: решение слишком велико, или не поддается проверке, или слишком дорого, или слишком рано, или слишком трудно пройти. Любой из них, взятый в одиночку, звучит как благоразумие. Вместе они образуют машину, единственным выходом которой является бездействие, и бездействие — это выбор позволить самой последовательной технологии в истории быть построенной без каких-либо обязательных ограничений, горсткой конкурирующих фирм, под точным давлением, которое, скорее всего, приведет к результату, которого все утверждают, что боятся, а не нейтральным здесь.
Ни один из этих вопросов не снимается утверждением, что управление будет лёгким. Оно не будет. Верификация вызовет споры, переговоры затянутся, а некоторые правительства будут тянуть время — в каждой трудной договорённости в истории было то же самое, и тем не менее они заключались. Честное утверждение состоит в том, что это возможно, что необходимые элементы уже существуют и что причины отмахиваться от идеи рушатся, стоит их рассмотреть, а не повторять, а не в том, что соглашение о сверхинтеллекте будет простым.
«Это не может быть сделано» было неправильным в отношении всех сопоставимых усилий, которые мы когда-либо делали. Задача состоит в том, чтобы создать политическую волю для обязательного, проверенного соглашения, которое не позволит строить самые опасные системы до тех пор, пока они не станут безопасными. «Поэтому сдайтесь» никогда не было ответом, и это не ответ сейчас.