Резкий левый поворот — гипотетический сценарий отказа, и его лучше описать через противопоставление. Способности обобщаются. Выравнивание — не обязательно. Когда система становится мощнее, особенно переходя к общей, переносимой компетенции, её умения переносятся на новые области и ситуации. Опасение в том, что ограничения, удерживающие её в рамках приемлемого поведения, — выравнивание, которого удалось добиться на более низком уровне, — не переносятся с той же надёжностью. Система уносит свою мощь в новую территорию, а безопасность оставляет на границе. Это расхождение, наступающее внезапно при обобщении способностей, и есть резкий левый поворот.
Почему возможности и выравнивание могут разойтись
Есть причина ожидать, что эти два аспекта будут обобщаться по-разному, и дело не в симметричном оптимизме и пессимизме. Возможности привязаны к структуре мира. Законы физики, правила математики, то, как причина ведёт к следствию, одинаковы во всех областях, поэтому система, научившаяся хорошо рассуждать, имеет стабильную основу для обобщения. Компетентность переносится, потому что реальность последовательна.
Согласованность привязана к нам. Она связана с человеческими ценностями, человеческими намерениями и конкретным обучающим сигналом, который мы задали, — более узким, хаотичным и полным тех самых пробелов, о которых шла речь в проблема выравнивания. Система, обобщающаяся на новую ситуацию, имеет твёрдую почву для расширения своих возможностей и гораздо менее устойчивую — для распространения наших задуманных ограничений, потому что ограничения были приближением, подогнанным под уже виденные ситуации. Это неправильное обобщение цели возведённое в структурное утверждение о моменте скачка возможностей.
Мир последователен, поэтому компетенция переносится. Наши ценности всегда были заданы лишь частично, поэтому поводок может не сработать.
Почему время — самая жестокая часть
По прогнозам, сбой произойдет не во время безопасной ранней фазы, когда система будет слабой и исправимой, а ее выравнивание, по-видимому, сохранится. Именно при переходе к более широким, более общим возможностям система становится труднее всего исправлять. Выравнивание нарушается как ставки, так и сложность вмешательства в оба всплеска.
Именно поэтому резкий левый поворот опаснее обычного неправильного обобщения. Он предсказывает, что успокоение, которое мы черпаем из хорошо ведущих себя меньших систем, — это наименее переносимое свидетельство, потому что его собрали именно в том режиме, который сбой, по прогнозу, обойдёт стороной. Модель, которая оставалась безопасной и кооперативной на всём протяжении разработки, вполне совместима с тем, что резкий левый поворот ещё впереди. Хорошая история не служит контраргументом, каким кажется.
Чистая запись не является лицензией на масштабирование
Если выравнивание не сохраняется автоматически при скачке возможностей, то следуют две вещи. Выравнивание должно быть достаточно надёжным, чтобы обобщаться перед скачок, а не исправлять потом. История хорошего поведения системы не даёт достаточного основания продвигать её на следующий уровень, потому что именно на нём, по прогнозам, появится расхождение.
Оба они указывают на то же самое, что и остальные аргументы Фонда. Не позволяйте возможности опережать выравнивание и не рассматривайте чистую запись на одном уровне как разрешение на следующий. Резкий левый поворот является одной из самых пессимистических идей в области безопасности ИИ, и это может быть неправильно, и цена того, что он прав, достаточно серьезна, чтобы он принадлежал к любому честному расчёту того, почему мы спорим о безопасности ИИ. ограничение.