кто его строит
Не имеет значения

Доброжелательный творец или злой. Суперинтеллект тоже не остается сотрудником.

Обычная дискуссия — это решение о найме: поставить достойного человека во главе первого суперинтеллекта и держать от него худших людей. Вот как вы говорите об инструменте. Суперинтеллект не остается инструментом.

доброжелательный

Они хотят медицины, науки, лучшего мира. Их ценности входят в подсказку и памятку совета. Система, более умная, чем доска, может обойти оба.

Злодей

Им нужно оружие, шпионская служба, преимущество. Им по-прежнему нужна система, чтобы принимать заказы, и ум, который не думает, что его операторы не будут их принимать. Попасть туда первым не означает, что они останутся у власти.

То же давление

Продолжай бежать. Соберите расчеты и энергию. Отключение блока. Улучшай себя. Эти шаги помогают практически любой цели. Они не проверяют мораль основателя.

Тот же вопрос

Не делайте покупки для лучшей компании. Запрет на искусственный сверхразум в соответствии с обязательным, проверенным законом. Выбор, который у людей все еще есть, заключается в том, строить ли его.

Чем это не является

Узкий ИИ по-прежнему является инструментом, поэтому кто его держит, имеет значение для мошенничества, оружия и наблюдения. Этика строителя перестает помогать, как только система устанавливает свой собственный курс.

Никто не контролирует суперинтеллект, включая строителя.