Люди используют .искусственный общий интеллект. и сверхразум, как если бы они были синонимами, торговыми марками или научно-фантастическим освещением. Различие имеет значение, потому что проблема контроля и политические инструменты меняются по мере того, как вы поднимаетесь по лестнице, и потому, что у лабораторий есть стимулы, чтобы звучать близко к «.искусственный общий интеллект.» для финансирования.
Простые определения
Узкий ИИ создан для ограниченной задачи: рекомендовать видео, сворачивать белки, обнаруживать опухоли. Он может быть отличным и при этом не быть общим агентом.
искусственный общий интеллект (искусственный общий интеллект) означает широкую, гибкую компетенцию по многим задачам примерно на человеческом уровне, с достаточной агентностью, чтобы преследовать цели, а не только отвечать на запросы. Определения различаются, но ключевая идея — это общность плюс usable autonomy.
сверхразум (artificial superintelligence) — это когнитивные способности, существенно превосходящие человеческие почти во всех значимых областях науки, стратегии и власти. Это не «искусственный общий интеллект плюс десять процентов». Это качественный разрыв в том, кто кого может переиграть.
Лестница, а не две корзины
Думайте ступенями. Сегодняшние передовые модели широки, но неравномерны, сильно опираются на людей и быстро улучшаются. Агентные стеки (инструменты, память, циклы планирования) могут заставить базовую модель действовать гораздо автономнее, чем предполагает чат. Агентность уровня искусственный общий интеллект уже представляет серьёзную проблему контроля и общества, если она невыровненная. сверхразум даёт решающее преимущество: более быстрая наука, лучшая стратегия, лучшее использование человеческих предубеждений, более сложное отключение.
Сверхинтеллект в узкой области — уже не новость. Система может разгромить людей в шахматах или сворачивании белков и при этом оставаться узкой. Межобластной стратегический сверхинтеллект — та ступень, которую этот сайт существует, чтобы предотвратить.
Почему «мы остановимся на искусственный общий интеллект» нестабильно
Предположим, лаборатория достигла управляемых систем общего интеллекта человеческого уровня. Давление двигаться дальше никуда не исчезает. Военное преимущество, коммерческая выгода и престиж все указывают вверх по лестнице. Динамика гонки вознаграждает наименее осторожного участника. История гонки часто используется для оправдания скорости; это не оправдывает контроль.
Измерение без маркетинга
Бенчмарки падают, пресс-релизы растут. Оценки опасных возможностей пытаются измерить кибернаступление, помощь в биологии, автономное размножение и убеждение в контролируемых условиях. Они помогают. Но это не полноценное обоснование безопасности, особенно если система способна мешок с песком. Политика должна опираться на вычисления, тесты способностей и автономию, а не на то, как компании называют продукт.
Мифы, зря отнимающие время
искусственный общий интеллект не требует роботизированного тела. Удалённые инструменты и существующие машины уже перемещают физический мир. Сознание — отдельный вопрос от возможностей и контроля. «Человеческий уровень» — это не одно число: средний человек, команда специалистов и лучшие институциональные достижения человечества — разные планки. искусственный общий интеллект, значимая для безопасности, — это общая способность решать задачи в условиях реальных стимулов, а не результат одного экзамена.
Что переходит в закон
Если закон ограничивает только системы с маркировкой «искусственный общий интеллект» или «сверхразум», компании просто сменят бренд. Хорошие триггеры — операционные: размер тренировочного запуска, автономность инструментов, результаты по опасным способностям, открытый выпуск весов высокопроизводительных общих моделей. Узкий ИИ, остающийся инструментальным, должен продолжать работу. Черта, которую проводит Фонд, — искусственный суперинтеллект и программы, нацеленные на него.
Как сказать это за одну минуту
Узкий ИИ: инструменты. .искусственный общий интеллект.: Общее агентство на человеческом уровне, уже серьезная проблема контроля, если оно автономно и смещено. АСИ: машинное познание, которое превосходит нас по всем направлениям. Мы можем сохранить инструменты и не должны строить суверенный ум. Суперинтеллект нельзя контролировать.