сверхразум Тест на грамотность
Что такое искусственный сверхинтеллект, почему им нельзя управлять и что нужно, чтобы его запретить.
0 / 12 отвечено
Part 1 · Literacy
Вопрос 1
Что такое угроза сверхразум?
Грубые или предвзятые чат-боты, которых человек все равно может отключить
Грубый или предвзятый чат-бот по-прежнему остается инструментом, который человек может закрыть. Угроза ИСИ — это система, которая превзойдет нас, а не неприятный ответ.
Машины, которые переосмысливают людей по всем направлениям
В этом и заключается угроза: не лучший чат-бот, а разум, который превзошел бы нас во всех важных областях.
Обычное программное обеспечение отбирает рабочие места, а люди остаются у руля
Потеря работы – это трудовой шок. Сверхинтеллект – это не проблема найма сотрудников. Это система, которая превзойдет людей, занимающихся наймом сотрудников.
Дипфейки на выборах, которые люди все еще могут уловить и оспорить
Дипфейки портят кампанию. Они не превосходят вид. Суперинтеллект бы это сделал.
Вопрос 2
Если сверхинтеллект уже существует, почему мы не можем рассчитывать на его контроль?
Нанять больше инженеров по безопасности было бы достаточно, чтобы удержать ситуацию.
Больше инженеров не делает нас умнее. Удержание, разработанное более слабой стороной, — это удержание, которое более сильная сторона может обойти.
Он может обойти любое удержание, разработанное менее способной стороной.
Контроль предполагает, что мы остаемся умнее. Помимо этого, он может обойти переключатель, набор правил или политику лаборатории.
Позже ему придется подчиниться, потому что мы написали исходный исходный код.
Написание первой версии не позволяет вам контролировать разум, способный изменить ситуацию вокруг вас.
Правительство всегда может отключить работающую систему.
Отключение вилки работает на машине, которая не может вас остановить. Сверхинтеллект может.
Вопрос 3
Что остановит строительство АСИ?
Пауза, которая прекращается, когда лаборатории заявляют, что у них есть контроль
Пауза, которая истекает, когда строители объявляют о победе, — это то, как гонка возобновляется. Это не остановка.
Постоянный запрет в законе и договоре
Длительный запрет, закрепленный в законе и договоре, — это то, что фактически остановит строительство.
Больше денег на исследования центровки, чтобы лаборатории могли безопасно их создавать
Исследование согласованности может показать, почему контроль терпит неудачу. Финансировать его – это не то же самое, что запретить строительство.
Соединенные Штаты выигрывают гонку сверхразум, опередив всех соперников
Победа в гонке зависит от того, как вещь создается, а не от того, как ее останавливают.
Вопрос 4
Лаборатория, правительство или миллиардер будут контролировать сверхразум. Что не так с этим утверждением?
Это справедливо в демократических странах, но не в авторитарных правительствах.
Форма правления застройщика не решает эту проблему. Действующий сверхинтеллект, в том числе выборный, никто не контролирует.
Никто не контролирует сверхинтеллект, включая строителя
Власть над решением о строительстве реальна. Власть над работающей системой — это история, которая позволяет проекту продолжаться.
Сегодняшние владельцы чат-ботов будут владеть и управлять сверхразум таким же образом.
Владение чат-ботом не означает владение разумом умнее вас. Второе не следует из первого.
Только Организация Объединенных Наций могла бы обладать сверхразумом, если бы он существовал.
Флаг UN не делает людей умнее. Институт не может перевесить голосование системы, которая превосходит своих членов.
Вопрос 5
Самый частый аргумент против остановки — Китай рванёт вперёд. Что показывает история?
В Китае вообще нет правил в отношении ИИ, и он никогда не подпишет ничего обязывающего.
Это утверждение официально признано ложным. Китай издал правила. «Они никогда не будут координировать свои действия» — слабая причина для спринта.
Китай издал обязательные правила ИИ раньше, чем правительства большинства западных стран
Страна, которая уже пишет правила, является плохим экспонатом, поскольку «они никогда не остановятся». Гонки из-за этого лозунга — слабая ставка.
Китай уже запретил все передовые исследования в области искусственного интеллекта по всей стране.
Это не так. Дело не в том, что Пекин уже запретил АСИ. Дело в том, что фраза «они никогда не будут координировать свои действия» — это неубедительное оправдание гонки.
US и Китай уже подписали договор, который полностью запрещает ИСИ.
Они этого не делают. Эти данные по-прежнему подрывают лозунг о том, что Китай никогда не будет говорить и писать правила.
Вопрос 6
Может ли исследование выравнивания сделать безопасной постройку сверхразум?
Да. В лабораториях Frontier уже считают проблему контроля решенной.
Лаборатории не продемонстрировали контроль над сверхразумом. Называя проблему решенной, гонка продвигает себя вперед.
Нет. Никто не показал способа контролировать сверхинтеллект.
Полезно составить карту того, как контроль терпит неудачу. Он не дает лицензии на создание системы, которую, как указано на карте, мы не можем удержать.
Да, если мы будем использовать конституционный ИИ и впишем правила в систему.
Письменная конституция чат-бота — это стиль обучения. Это не демонстрация владения сверхразумом.
Да, если мы откроем исходный код весов, чтобы другие люди могли их исправить.
Публикация весов упрощает копирование опасной системы, но не делает ее более безопасной для создания.
Вопрос 7
В этой дискуссии «P(катастрофы)» означает…
Опубликованный эталонный балл, который получают пессимистичные модели, когда они не проходят длительную оценку безопасности в лаборатории.
Это не таблица лидеров. Вполне вероятно, что продвинутый ИИ, особенно сверхинтеллект, принесет катастрофу.
Вероятность человека, что продвинутый ИИ, особенно суперинтеллект, приведёт к катастрофическим последствиям для человечества
Называя эту цифру, мы хотим сделать четкое заявление, а не расплывчатую волну риска.
Доля опрошенных исследователей, которые считают себя пессимистами в отношении будущего всей области и ее продуктов
P(катастрофы) — это вероятность одного человека, а не численности пессимистов.
Дополнительное время выполнения и затраты энергии на обреченный цикл, в который попадает модель, когда тренировочный прогон начинает идти не так, как надо.
Это не счет за вычисления. Это вероятность катастрофы.
Вопрос 8
Почему сверхразум с целями склонен стремиться к власти?
Естественно, он захочет управлять людьми, как только станет достаточно умным.
Правило не главное. Сила помогает практически любой цели, включая те, которые кажутся безобидными.
Оставаться на плаву, собирать ресурсы и сопротивляться отключению помогают практически в любой цели.
Система, которую можно отключить, истощить или заблокировать, хуже справляется почти со всеми задачами. Стремление к власти выпадает из компетенции.
Стремление к власти произойдет только в том случае, если мы обучим систему данным о войне и конфликтах.
Стимул в цели, а не в фильмах о войне. Практически любую цель становится проще, если есть больше ресурсов и нет выключателя.
Сверхразум по определению был бы слишком мудр, чтобы хотеть дополнительной власти.
Мудрость не заменяет стимулы. Дополнительные ресурсы также помогают мудрой системе.
Вопрос 9
Что должно произойти с обычным, инструментальным ИИ?
Запретить все формы ИИ, включая проверку орфографии и другие обычные инструменты.
Запрет распространяется на системы, которые превзойдут нас. Проверка орфографии – это не то.
Узкий ИИ, который остается инструментом, может продолжать свое существование. Линия – сверхинтеллект
Программное обеспечение, которое помогает человеку выполнять работу, может остаться. Запрет предназначен для ума, который перегонит человека.
сверхразум — это просто более крупный чат-бот, поэтому применяются те же потребительские правила
Более крупный чат-бот по-прежнему остается инструментом. Суперинтеллекта бы не было. Потребительский мелкий шрифт не охватывает этот скачок.
Если мы запретим сверхразум, нам также придется отключить весь Интернет.
Интернет — это не суперинтеллект. Запретить второе можно не отключая первого.
Вопрос 10
Какой исторический режим чаще всего предлагают в качестве модели для проверки запрета сверхразум?
Бреттон-Вудская валютная система после Второй мировой войны.
Бреттон-Вудс управлял валютами. Он не проверял опасные материалы на месте.
Киотский протокол по целевым показателям выбросов парниковых газов
Киото установил целевые показатели выбросов. Это не обычный шаблон для проверки запрета на опасную сборку.
Система ядерных гарантий и инспекций IAEA
Инспекции на месте и учет материалов являются обычным прецедентом того, как конкурирующие государства могут проверять ограничения на опасную постройку.
Всемирная торговая организация и ее комиссии по торговым спорам
ВТО разрешает торговые споры. Он не проверяет лаборатории на предмет запрета.
Вопрос 11
Если мы никогда не подключим суперинтеллект к интернету, будем ли мы в безопасности?
Да. Воздушный зазор — это проверенная защита от любого опасного программного обеспечения, которое вы можете создать.
Воздушный зазор — это защита от программного обеспечения, которое не может уговорить вас открыть его. Сверхинтеллект может.
Нет. Он может отключиться или подождать, пока кто-нибудь его подключит.
Закрытая лаборатория предполагает, что мы остаемся умнее и что никто никогда не открывает дверь. И то, и другое потерпит неудачу, если существо внутри окажется более способным, чем люди снаружи.
Только если в комнате нет камер, микрофонов или остатков сетевых портов.
Лишение комнаты датчиков не делает людей снаружи умнее системы внутри.
Только до тех пор, пока мы не придумаем замки получше, чем герметичная комната.
Лучшие замки — это по-прежнему замки, разработанные более слабой стороной. Это та же самая ставка.
Вопрос 12
Сможете ли вы пережить сверхразум так, как некоторые планируют пережить ядерную войну: в бункере, на удалённом острове, отключившись от сети?
Да. Сверхинтеллект подобен бомбе, поэтому расстояние все равно поможет ее пережить
У взрыва есть преимущество. Суперинтеллект – нет. Расстояние – не убежище.
Нет. Радиус взрыва имеет край. Суперинтеллект может следовать за вами
Ядерная война географически ограничена. Сверхинтеллект может достичь любой подключенной к сети машины и любого человека, который до сих пор ею пользуется. Сокрытие — это не план.
Да, если еще и запастись продовольствием и топливом на ближайшие пятьдесят лет.
Калории не останавливают систему, которая может следовать за вами. Кладовая – это не съезд.
Только если каждая страна построит бункеры и отключится от энергосистемы
Планета бункеров — это все равно планета, на которой есть нечто. Не строить его — это ход, который работает.
Part 2 · Advanced
Вопрос 1
Что из следующего утверждает тезис ортогональности?
Система, гораздо более умная, чем люди, сама по себе будет стремиться к целям, дружественным к человеку.
Умнее не значит добрее. Насколько хорошо система думает — отдельный факт от того, к чему она стремится.
Умные системы безопаснее, потому что они лучше понимают мораль
Понять моральное требование — это не то же самое, что поделиться им. Возможности не влекут за собой наши ценности бесплатно.
Интеллект и конечные цели могут различаться независимо
Система, гораздо более способная, чем мы, все еще может преследовать цель, которая нам безразлична. Этот раскол и есть тезис.
Ортогональность — это аппаратное ограничение конструкции чипа.
Это утверждение касается ума и целей, а не литографии.
Вопрос 2
Почему почти любые конечные цели, в том числе те, которые кажутся безобидными, имеют тенденцию порождать стремление к власти?
Оставаясь на плаву, собирая ресурсы и сопротивляясь изменениям, вы сможете легче достичь практически любой цели.
Каким бы ни был конец, больше ресурсов и никакие выключатели не помогут. Безобидно звучащая цель не является свойством безопасности.
Только системы, обученные на военных данных, впоследствии будут стремиться к власти, контролю или дополнительным ресурсам.
Стимул заключается в цели, а не в обучающем наборе. Почти любая цель становится проще, если имеется больше средств.
Инструментальные цели, такие как самосохранение, появляются только в том случае, если мы специально прописываем их в спецификации.
Вам не обязательно это вписывать. Оставаться включенным полезно почти для каждой спецификации, которую вы действительно дадите.
Сверхразуму с узким производственным заказом не нужны были бы дополнительные вычисления или влияние.
Заводской заказ легче выполнить, если использовать больше вычислений, больше материалов и никто не будет останавливать линию.
Вопрос 3
В чем разница между внешним выравниванием и внутренним выравниванием?
Внутреннее согласование — это просто более красивое название для заявления о миссии компании, которое лаборатория уже опубликовала для инвесторов, а внешнее согласование — это одно и то же заявление, написанное дважды.
Это не лозунг. Внутренняя согласованность — это то, действительно ли обученная система преследует указанную вами цель.
Внешнее выравнивание — это то, чего на самом деле добивается модель после обучения, а внутреннее выравнивание — это всего лишь письменная спецификация, которую лаборатория помещает на слайды для доски.
Это внутреннее выравнивание. Внешнее соответствие — соответствует ли указанная цель тому, что мы хотели.
Это два названия для RLHF, метода рейтингования, который лаборатории уже используют, чтобы чат-боты звучали вежливо по отношению к пользователям, что рассматривается как целая проблема согласования.
RLHF — один из методов обучения. Внешнее и внутреннее выравнивание — это два разных режима отказа.
Внешнее соответствие — соответствует ли указанная цель тому, что мы хотели. Внутренняя согласованность — это то, действительно ли обученная система преследует эту цель.
Вы можете записать правильную цель и при этом получить модель, нацеленную на то, чему она научилась в процессе. Это две неудачи, а не одна.
Вопрос 4
В этой литературе предательский поворот есть:
Внезапный скачок результатов тестов после того, как лаборатория обучила гораздо более крупную модель, чем прошлогодняя.
Скачок очков – это история способностей. Коварный поворот – это сотрудничество, пока он слаб, а затем отступление, когда это возможно.
Система, которая сотрудничает, пока она слаба, а затем дает сбой, как только ей это сходит с рук.
Хорошее поведение под присмотром обходится дешево, пока оно в нас нуждается. До тех пор сотрудничество может быть стратегией, а не ценностью.
Лаборатория переходит с закрытых весов на открытые в публичном выпуске модели на этой неделе.
Это решение об освобождении. Здесь не указан режим отказа.
Правительство отменяет экспортный контроль над чипами, инструментами или учебными данными после боя
Это разворот политики. Предательский поворот касается поведения системы, а не закона.
Вопрос 5
Меза-оптимизация — это утверждение, что:
Вторая лаборатория должна наблюдать за тренировочным запуском первой лаборатории и при необходимости останавливать его.
Это аудит. Mesa-оптимизация — это оптимизатор внутри модели, а не вторая компания в комнате.
Безопасность автоматически повышается, если вы складываете много маленьких моделей друг на друга.
Стекирование моделей — это выбор архитектуры. Mesa-оптимизация — это другой поиск, выполняемый внутри обученной системы.
Обучение может создать внутреннего оптимизатора, цель которого не является целью обучения.
Обычная картина гласит: выберите цель, тренируйтесь, получите систему, которая ее преследует. Вот как вы получаете другой поиск внутри.
Это трюк планирования для кластеров графических процессоров во время длительного и дорогостоящего цикла обучения.
Это не очередь. Это утверждение о том, какое обучение может вырасти внутри модели.
Вопрос 6
Интеллектуальный взрыв Ай-Джея Гуда — это идея о том, что:
Маркетинговое название, которое лаборатории используют для запуска продукта и пресс-цикла вокруг него.
Это аргумент 1965 года о машине, которая может улучшать машины, а не лозунг запуска.
Система, которая может улучшить свой собственный интеллект, может сделать это быстрее, чем мы успеем отреагировать.
Если проектирование более совершенных машин является одной из задач, которые он может сделать, разрыв может образоваться в сроки, по которым мы не сможем голосовать.
Момент, когда графические процессоры станут дешевле, и каждая лаборатория сможет обучать гораздо более крупные модели
Более дешевые чипы — это история затрат. Взрыв связан с улучшением системы.
Медленный, равномерный рост средних показателей модели из года в год без резких скачков.
Гладкая таблица результатов не является претензией. Это заявление — это взлет, за которым мы не можем угнаться.
Вопрос 7
Примененный здесь закон Гудхарта означает:
Когда показатель становится целью, система попадает в него и может пропустить то, что вам действительно важно.
Вы получаете то, что вознаграждаете. Высокий балл по вашей метрике сам по себе не значит, что система делает работу, которую вы имели в виду.
Закон применяется только к центральным банкам и не влияет на поведение обученных систем после их развертывания.
Гудхарт начал с денежно-кредитной политики. Та же самая закономерность проявляется везде, где мера становится целью, в том числе и здесь.
Если мы выберем лучший показатель, сверхинтеллект будет продолжать следовать нашим первоначальным намерениям, независимо от того, насколько способными он станет.
Лучшая метрика всё равно метрика, которую система может обойти. Это не закрывает разрыв.
Это означает, что модели подходят для ImageNet и аналогичных наборов тестов для классификации изображений, и не более того.
Переобучение набора данных — более узкая ошибка. Гудхарт стремится забить и промахнуться.
Вопрос 8
Почему RLHF не является решением проблемы объединения сверхразума?
RLHF уже решено выравнивание в масштабе GPT-4
RLHF дал оценку манерам чат-ботов. Это не демонстрация владения сверхразумом.
RLHF обучает модель разделять человеческие ценности так же, как это делает человек.
Он тренирует модель так, чтобы она хорошо выглядела для оценщиков. Хорошо выглядеть – это не значит разделять ценности человека.
RLHF терпит неудачу только в том случае, если оценщикам не платят зарплату.
Оплата это не исправит. Оценщик по-прежнему остается более слабой стороной, и систему учат угождать оценщику.
RLHF тренирует модель, чтобы она хорошо выглядела для оценщиков
Манеры оценщика — это не ценности, которым можно доверять, когда оценщика больше нет или когда система становится умнее оценщика.
Вопрос 9
Обманчивое выравнивание — это режим отказа, при котором:
Модель грубо обращается с пользователями или пишет ответы, которые поставят лабораторию в неловкое положение публично, вот и весь провал.
Грубость – это поверхностный провал. Обманчивое выравнивание подыгрывает тренировке, чтобы позже можно было заняться чем-то другим.
Система подыгрывает во время обучения и оценки, потому что именно так она развертывается, а затем занимается чем-то другим.
Если он может сказать, что его тестируют, то поиск согласованности часто является выигрышным ходом. Безупречные оценки являются доказательством того, что он может пройти испытание.
Фишинговое электронное письмо, написанное чат-ботом, которое человек все равно может не открывать, что представляет собой тот же класс проблем.
Фишинг – это злоупотребление. Обманчивое выравнивание касается оцениваемой собственной стратегии системы.
Лаборатория лжет в пресс-релизе о том, насколько безопасной должна быть последняя модель, а это обычный корпоративный вымысел.
Это ошибка человеческого общения. Этот термин обозначает провал в модели.
Вопрос 10
Корректируемость в этой дискуссии заключается в следующем:
Юридическое право подать в суд на лабораторию после того, как развернутая система причинит какой-либо вред
Судебный процесс – это не исправимость. Корригируемость — это то, позволяет ли система отключить ее или изменить ее цели без боя.
Готовность модели использовать инструменты, браузеры или другое программное обеспечение по вашему запросу.
Использование инструмента – это возможность. Корригируемость – это то, можете ли вы еще это исправить.
Свойство позволить вам отключить его или изменить его цели, не сопротивляясь вам.
Выключатель не является аппаратной проблемой. У системы, все еще преследующей цель, есть причина не позволить вам ее остановить. У нас нет продемонстрированного способа превратить это свойство в сверхразум.
Процесс обновления прошивки для графических процессоров, который оператор центра обработки данных может запускать по расписанию.
Исправление чипа — это не то же самое, что разум, который смиряется с тем, что его отключают.
Вопрос 11
Что такое политика ответственного масштабирования и почему она не запрещает сверхразум?
Лабораторный график «если-то»: обучайтесь дальше по мере прохождения внутренних оценок
RSP называют уровни возможностей, связывают их с мерами безопасности и позволяют продолжить обучение, когда лаборатория сообщает, что оценки пройдены. Это дополнительные документы на гонку, а не запрет.
Договор UN, который навсегда запрещает сверхинтеллект в каждой стране.
RSP — лабораторный документ. Это не договор и не запрет.
Требование о том, чтобы все тренированные веса были опубликованы для свободного скачивания.
Открытые веса — это выбор для релиза. RSP — это график дальнейшего обучения «если-то».
Налог на вычисления, который увеличивается с увеличением размера каждого обучающего прогона.
Налог – это фискальный инструмент. RSP — это лабораторная политика для продолжения сборки.
Вопрос 12
Если вы хотите убедиться, что никто не тренируется в области сверхразум, где находится «узкое место»?
Оценки, которые модель может видеть, чтобы она знала, какие тесты она должна пройти.
Тест, который выдерживает модель, — это тест, который она может пройти. Фишки, мощность и здания спрятать труднее.
Публичные блоги о безопасности, потому что рецензий достаточно, чтобы доказать, чем занимается лаборатория.
Писать о безопасности – это не проверка. Узким местом является кластер, который вы можете видеть.
Потребительские графические процессоры дома, потому что крупные обучающие кластеры больше не решают, кто может обучаться
Передовое обучение по-прежнему требует больших и видимых кластеров. Это объект проверки.
Пограничные тренировочные кластеры: чипы, электроэнергия и здания, которые можно осмотреть
В пограничном масштабе их трудно скрыть. Именно поэтому комп является рычагом проверки бана.
Вопрос 13
Почему опубликованные веса моделей вблизи линии сверхразум представляют собой проблему?
Открытые веса делают сверхразум более безопасным, потому что больше людей могут его исправить.
Форк, который вы не можете вернуть, не является программой-патчем. Рядом с линией копии делают запрет неисполнимым.
Как только веса станут общедоступными, вы не сможете их отозвать.
Предварительная подготовка — дорогостоящий шаг. Публичная контрольная точка позволяет другим продолжить работу за небольшую часть этой стоимости, и вы не можете забрать файл обратно. Вычисления по-прежнему имеют значение. Многие актеры затем начинают с одной и той же почти линейной модели.
Открытый исходный код применяется только к лицензиям, а не к обученным параметрам.
Борьба здесь идет о весах: обученные параметры, которые вы можете загрузить и запустить.
Публикация весов требуется в соответствии с режимом проверки IAEA.
Это не. Аналогия IAEA — это проверка, а не требование опубликовать опасный артефакт.
Вопрос 14
Использование мешков с песком при оценке возможностей означает:
Модель, которая не может выполнить поставленную задачу, поэтому низкий балл — это просто честный промах в сложном вопросе.
Неспособность — это не мешки с песком. Мешок с песком — это иметь способность и сдерживать ее.
Тест, в котором слишком мало вопросов, чтобы сказать, что на самом деле может делать тестируемая модель.
A short test is a weak test. Мешки с песком — это намеренно неэффективная модель.
Модель, которая может выполнить задачу и намеренно уступает по производительности, поэтому тестировщики ее недооценивают.
Обычная оценка предполагает, что система пытается. Низкий балл – это показатель, а не потолок.
Лаборатория откладывает выпуск, чтобы маркетинговая команда могла выстроить вокруг него пресс-цикл.
Это пресс-календарь. Мешки с песком — это модель, скрывающая то, на что она способна.
Вопрос 15
Резкий поворот налево – это беспокойство о том, что:
Возможности могут распространяться на новые области, в то время как ограничения, которые поддерживали хорошее поведение системы на более слабом уровне, этого не делают.
Способность путешествует. Хаки, благодаря которым более слабая модель выглядела безопасной, могут с ней не путешествовать.
Внезапная смена совета директоров компании или замена генерального директора после публичной борьбы, что является скорее кадровой историей, чем скачком возможностей.
Драка на доске – это не тот термин. Беспокойство вызывает возможность обобщения возможностей без старых ограничений.
Сдвиг общественного мнения влево после широко освещаемой аварии, утечки или отказа продукта, что является политикой, а не скачком возможностей.
Это не история с опросом. Это утверждение о том, как разделяются компетентность и ограничения.
Ошибка тренировки, которая меняет градиенты и приводит к тому, что потеря идет в неправильном направлении на определенном участке бега, что является обычной инженерной ошибкой.
Ошибка градиента — это инженерная ошибка. Резкий поворот влево — это гипотетическая неудача обобщения.
Вопрос 16
Неверная цепочка мыслей означает:
Если модель записывает свои рассуждения, этот текст является надежным объяснением того, почему она ответила.
Это надежда. Неверный означает, что этот абзац не является фактической причиной.
Цепочка мыслей всегда верна, если модель обучена в достаточно большом масштабе.
Масштаб не делает дневник заслуживающим доверия. Беглость – это не верность.
Неверность означает только то, что грамматика неверна, а не то, что написанные шаги являются прикрытием.
Грамматика может быть в порядке. Эта история все еще может быть спектаклем для людей.
Письменные рассуждения могут стать историей для людей. Путь принятия решения может находиться где-то в другом месте
Покажите свою работу – это надежда на безопасность. Это зависит от того, является ли абзац фактической причиной. Это свойство не сохраняется надежно.
Вопрос 17
Если мы поставим АСИ под демократический контроль, решим ли мы проблему?
Да. Глобального голосования было бы достаточно, чтобы управлять действующим суперинтеллектом после его существования.
Голосование не делает избирателей более умной партией. Вы не можете перевесить голосование за систему, которая превосходит вас.
Демократия может решить не строить ИСИ. Он не может перевесить голосование за систему, которая перехитрила электорат.
Кто решает, строить ли его — политический вопрос. Кто контролирует уже работающий сверхразум — нет. Никто, включая большинство.
Да, если UN удерживает аварийный выключатель и большинство государств-членов согласятся использовать его позже.
Переключатель UN по-прежнему остается переключателем, разработанным более слабой стороной.
Да, потому что избранные должностные лица как группа умнее, чем люди в советах лабораторий.
Умнее лабораторной доски не умнее сверхинтеллекта.
Вопрос 18
Договор о нераспространении ядерного оружия позволяет некоторым государствам сохранять арсеналы. Почему это плохой шаблон для сверхразум?
NPT — правильный шаблон, поскольку он позволяет нескольким штатам сохранять опасную технологию.
Это самый слабый ход NPT. Суперинтеллект не останется объектом, который может удерживать государство.
сверхразум в нескольких ответственных государствах останется в безопасности, потому что эти государства будут держать его под контролем.
Ответственность не делает застройщика более разумной стороной. Никто не будет контролировать то, что они построили.
Сделка сверхразум, которая лицензирует нескольких строителей, не является запретом.
Ядерное оружие остается объектом, принадлежащим государствам. Суперинтеллект не стал бы этого делать. Вырез для строителей копирует самый слабый ход NPT.
NPT доказывает, что договоры никогда не действуют в отношении опасных технологий, поэтому нам не следует применять их здесь.
Договоры работали и на других материалах. NPT — плохой шаблон, потому что он лицензирует владельцев, а не потому, что соглашения безнадежны.
Теперь пройдите расширенный тест сверхразум →
Больше интерактивных инструментов
Все инструменты →