"Я оптимист. Конечно, человеческая раса не исчезнет. Этого никогда раньше не случалось".
Вы слышите это после панелей безопасности, в зеленых комнатах и комментариях, обычно с улыбкой, которая предназначена для закрытия темы. Улыбка – это настоящая социальная работа. Это рисует осторожность как дефект личности и импульс как эмоциональное здоровье. Он также проносит заявление о риске в настроение.
Допускается оптимизм. То, что не позволено, если мы все еще делаем серьезную работу, это рассматривать темперамент как доказательство.
Что «никогда не случалось раньше» на самом деле говорит
Человеческое вымирание, по определению, не имеет человеческих свидетелей. Каждый живой человек отбирает образцы из временных линий, в которых продолжался вид. Назовите это выбором, а не философией: победитель лотереи — плохой источник шансов на победу, а «я никогда не погибал в автокатастрофе» — плохой аргумент против ремней безопасности.
Окаменелости менее сентиментальны. Подавляющее большинство видов, которые когда-либо жили, исчезли. Несколько массовых вымираний расчистили доску для того, что произошло дальше. Homo sapiens Он молод в геологическом времени и уже прошел через узкие места, чумы и войны, которые могли бы закончить нас в более холодном рулоне костей. "Никогда не случалось раньше" - это заявление о тонком срезе истории, который мы все еще можем обсудить. Это не щит.
Первый раз — из чего состоят катастрофы.
До 1945 года ни один город не был разрушен ни одной бомбой. До 1918 года ни одна пандемия не приводила к глобальной железнодорожной и судовой сети. До начала работы с озоном в 1980-х годах никто не проводил человеческий эксперимент по истончению слоя, который удерживает ультрафиолетовый свет от стерилизации поверхности. Каждый из них был заранее чем-то, чего раньше никогда не было. Люди, которые действовали, не ждали, пока законченная инстанция станет доступной в качестве тематического исследования.
Искусственный суперинтеллект сидит в этом ведре. Нет ни одного исторического ряда смещенных суперинтеллектов, чтобы усреднить. Существует механизм: системы, которые преследуют цели, улучшают свои собственные возможности и в конечном итоге превосходят институты, предназначенные для их исправления. Механизм — это то, что вы используете, когда базовые ставки молчат. Требование предшествующего исчезновения человека из ИИ, прежде чем вы серьезно отнесетесь к механизму, требует трупа перед диагнозом.
Каждая первая катастрофа выглядит как нечто, чего никогда не было раньше. Это описание категории, а не утешение.
Оптимизм, правильно направленный
Есть версия оптимизма, которую я уважаю. По его словам, раньше люди координировались под давлением. Договоры заключены. Промышленность была вынуждена изменить курс, когда наука стала ясной, а политика — организованной. The запись о сдержанности Это реально, от контроля над ядерными вооружениями до химических веществ, которые пожирают озоновый слой. Этот оптимизм указывает на агентство. Он предполагает, что будущее по-прежнему является решением.
Зеленая версия делает наоборот. Она рассматривает выживание как по умолчанию настройку вселенной и беспокойство как плохие манеры. Он путает «я предпочитаю хорошие результаты» с «поэтому хорошие результаты вероятны». Предпочтение не является вероятностью.
Когда Джеффри Хинтон, Йошуа Бенджио и сотни исследователей внесли риск искусственного интеллекта на уровне вымирания в тот же список, что и пандемии и ядерная война, они делали скучные вещи, которые делают эксперты, когда механизм выглядит здоровым, а обратная сторона полная, а не прослушивание для злодеев в технологической ноте. Вы можете не согласиться с их цифрами. Вы не можете отказаться от категории, объявив свой тип личности.
Стоимость пожимания плеч
Пожимание плечами делает работу для людей, которым нужно, чтобы строительство продолжалось без борьбы. Если разговоры о вымирании переосмыслены как проблема вибрации, то единственный вежливый шаг — это изменить тему обратно на производительность и приложения. Между тем, масштабы лабораторий, отставание эвалов и Проблема контроля остается нераскрытой. Настроение было ошибочно принято за управление.
Я хочу, чтобы человеческий проект продолжался. В этом вся причина существования этого фундамента. Желание – это легкая половина. Более сложная половина отказывается от пути развития, который концентрирует неисправимую власть в системах, которые никто не может надежно отключить, и выполняет политическую работу. привязка Требуется. Назовите это оптимизмом, если слово все еще что-то значит. Если это означает только «прекратить говорить о недостатках», это стало колыбельной.
Вымирание никогда не случалось с нами раньше. Это начальное условие каждой истории, которая заканчивается плохо. Это не аргумент, что это закончится хорошо.
Общие вопросы.
Разве человечество не пережило все прошлые предсказания гибели?
Человечество пережило риски, которые оно пережило. Это тавтология, а не прогноз. У нас также есть долгая история вымирания видов, цивилизационных коллапсов и почти промахов с технологиями, которые могли бы нас остановить. Прошлое выживание — это то, что вы будете наблюдать вплоть до первой неудачи, которая не оставляет наблюдателей.
Разве оптимизм не здоровее гибели?
Темперамент – это не вопрос. Вопрос в том, концентрирует ли конкретный путь развития энергию на уровне вымирания в системах, которые никто не может надежно контролировать. Вы можете быть жизнерадостным за ужином и все равно отказаться от этого. Уныние без программы бесполезно, так же как и жизнерадостность, которая запрещает смотреть на механизм.
Как будет выглядеть настоящий оптимизм на ИИ?
Действуйте так, как будто будущее все еще возможно. Постройте договор, инспекции и политическую коалицию, которые будут держать суперинтеллект за столом переговоров, пока контроль не станет реальным. Это сложнее, чем пожимать плечами. Это также единственный оптимизм, который все еще имеет тему, чтобы наслаждаться результатом.