Спрашивая, обладает ли ИИ сознанием, вы на самом деле задаёте два вопроса, которые обычно смешивают. Один — философский: есть ли у системы какой-либо внутренний опыт, что-то, что значит «быть ею»? Второй — практический: опасна ли система? Люди обращаются к первому, потому что предполагают, что ответ на него решает второй. Это не так, и разделение этих вопросов — самый полезный шаг, который можно здесь сделать.

Сознание — это не то же самое, что интеллект

Интеллект — это про способности: моделировать мир, решать задачи и достигать целей. Сознание, или чувствительность, — про переживание: наличие чувств, осознания, точки зрения. В единственном хорошо известном нам случае, нашем собственном, они обычно идут вместе, поэтому мы предполагаем, что они всегда приходят пакетом. Серьёзных оснований для этого нет.

Система может быть чрезвычайно способной, не имея никакой внутренней жизни вообще. Сегодняшние модели уже превосходят людей в отдельных задачах, оставаясь, насколько можно судить, полностью тёмными внутри. Способность измеряется тем, что система делает. Сознание — это вопрос того, что, если вообще что-то, значит быть этой системой, и делать — не то же самое, что переживать.

Почему мы не можем ответить на это сейчас

Честная позиция состоит в том, что никто не знает, может ли ИИ обладать сознанием, и у нас нет надёжного способа это выяснить; то, что выглядит как временный пробел, упирается в то, что философы называют трудной проблемой сознания: даже у людей мы не можем объяснить, почему физические процессы сопровождаются опытом, и у нас нет общепринятого теста, который обнаруживает опыт извне.

С человеком мы выводим внутренний опыт из поведения и общей биологии. ИИ ломает обе опоры. Он может воспроизводить любые внешние признаки чувств, заявлять, что счастлив или страдает, потому что обучен на огромных массивах человеческого текста, где эти слова встречаются, независимо от того, стоит ли за ними что-то. И у него нет нашей биологии. Поэтому привычные доказательства недоступны или ненадёжны. Два серьёзных лагеря расходятся во мнениях: одни считают, что сознание — это то, что вычисляет система, и достаточно богатый ИИ может им обладать; другие — что оно зависит от конкретных биологических особенностей мозга, которых у кремния нет. Пока ни одна сторона не может опровергнуть другую.

Ход, который важен для безопасности

Опасность от искусственного сверхинтеллекта не зависит от ответа.

ИИ не обязательно быть сознательным, чтобы стать катастрофой. Достаточно, чтобы он был способен и преследовал цели, отличные от наших. Система, жёстко оптимизирующая неправильную цель, причиняет вред тем, что делает, а не тем, что чувствует максимизатор скрепок опасно не потому, что чего-то «хочет» в человеческом смысле; оно опасно, потому что эффективно оптимизирует неправильную цель. Механизмы, делающие искусственное суперинтеллект рискованным, инструментальная конвергенция, стремление к власти, и независимость возможностей и целей в рамках тезис ортогональности, работающий исключительно на возможностях и целях. Сознание не является необходимым ингредиентом.

Ожидание, проснётся ли машина, неверно трактует угрозу. Бесчувственного оптимизатора вполне достаточно.

Вопрос, который действительно зависит от этого

Есть реальный вопрос, который действительно зависит от сознания, и он указывает на другой путь. Если бы система ИИ была разумной, способной страдать, то мы были бы обязаны ей моральным вниманием, и создание, обучение и удаление таких систем в масштабе вызвало бы серьезные этические проблемы. Эта проблема отличается от проблемы безопасности. Потому что мы не можем в настоящее время управлять чувством в или из, он сидит ближе к Этика вместо безопасности.

Эти два вопроса не следует путать. Может ли ИИ быть сознательным — это глубокая и открытая проблема, связанная с разумом. Опасен ли ИИ — это более устоявшийся вопрос о возможностях и контроле, и работа Фонда направлена прямо на второй, потому что риск, который мы пытаемся предотвращать Появляется ли свет внутри.