도구

초지능 문해력 퀴즈

인공 초지능이 무엇이고, 왜 통제할 수 없으며, 이를 금지하려면 무엇이 필요한가요?

0 / 12 답변함
Part 1 · Literacy
질문 1

초지능 위협이란?

사람이 여전히 차단할 수 있는 무례하거나 편향된 챗봇 무례하거나 편향된 챗봇은 여전히 ​​사람이 닫을 수 있는 도구입니다. 초지능 위협은 우리를 능가하는 시스템이지 불쾌한 답변이 아닙니다.
보드를 통해 인간을 쫓는 기계 그것이 바로 위협입니다. 더 나은 챗봇이 아니라 중요한 모든 영역에서 우리를 능가하는 마음입니다.
인간이 책임을 맡는 동안 일반 소프트웨어가 작업을 수행함 실직은 노동 충격이다. 초지능은 채용 문제가 아니다. 채용하는 사람들을 능가하는 시스템입니다.
사람들이 여전히 포착하고 논쟁을 벌일 수 있는 선거에서의 딥페이크 딥페이크는 캠페인을 손상시킵니다. 그들은 종을 능가하지 않습니다. 초지능이 그럴 것이다.

읽기: 위협 →
질문 2

초지능이 존재한다면, 왜 우리는 그것을 통제할 수 있다고 믿을 수 없는가?

더 많은 안전 엔지니어를 고용하면 이를 유지하기에 충분할 것입니다. 더 많은 엔지니어가 우리를 더 똑똑한 파티로 만들지는 않습니다. 약한 쪽이 설계한 홀드는 강한 쪽이 해결할 수 있는 홀드입니다.
능력이 떨어지는 당사자가 설계한 모든 홀드를 해결할 수 있습니다. 통제는 우리가 더 똑똑하다고 가정합니다. 그 외에도 스위치, 규칙 세트 또는 랩 정책을 능가할 수 있습니다.
원래 소스 코드를 썼기 때문에 나중에 obey가 있습니다. 첫 번째 버전을 작성한다고 해서 주변 상황을 바꿀 수 있는 마음을 갖게 되는 것은 아닙니다.
정부는 항상 실행되는 체계에 마개를 당길 수 있습니다 플러그를 뽑는 것은 당신을 멈출 수 없는 기계에서 작동합니다. 초지능은 할 수 있다.

읽기: 초지능을 정렬할 수 없습니다 →
질문 3

초지능가 내장 된 것은 무엇입니까?

실험실에서 제어권이 있다고 말할 때 해제되는 일시 중지 건축업자가 승리를 선언할 때 만료되는 일시 정지는 경주가 다시 시작되는 방식입니다. 그것은 정지가 아니다.
법률 및 조약에 의한 영구적인 금지 법과 조약으로 작성된 지속적인 금지는 실제로 건설을 중단시키는 것입니다.
실험실에서 안전하게 구축할 수 있도록 정렬 연구에 더 많은 자금 지원 정렬 연구를 통해 통제가 실패하는 방식을 파악할 수 있습니다. 자금을 조달하는 것은 빌드를 금지하는 것과 다릅니다.
미국은 모든 경쟁자보다 앞서 초지능 경주에서 승리했습니다. 경주에서 승리하는 것은 물건을 만드는 방법이지, 멈추는 방법이 아닙니다.

읽기: 우리의 계획 →
질문 4

연구소, 정부, 또는 억만장자가 초지능를 통제할 것입니다. 이 주장의 문제점은 무엇인가?

권위주의 정부가 아닌 민주주의 국가에서는 적용됩니다. 건축업자의 정부 형태로는 문제가 해결되지 않습니다. 선출된 초지능을 포함하여 누구도 실행 중인 초지능을 통제하지 않습니다.
제작자를 포함해 그 누구도 초지능을 통제할 수 없습니다. 구축 결정에 대한 권한은 현실입니다. 실행 중인 시스템에 대한 전원이 프로젝트를 계속할 수 있게 하는 이야기입니다.
오늘날의 챗봇 소유자는 초지능를 동일한 방식으로 소유하고 조종할 것입니다. 챗봇을 소유한다는 것은 당신보다 똑똑한 마음을 소유하는 것이 아닙니다. 두 번째는 첫 번째를 따르지 않습니다.
일단 존재하면 유엔만이 초지능을 보유할 수 있다. UN 플래그는 인간을 더 똑똑한 파티로 만들지 않습니다. 기관은 구성원보다 생각이 많은 시스템에 반대표를 던질 수 없습니다.

읽기: 신화 →
질문 5

중단에 반대하는 가장 흔한 주장은 중국이 앞서 나갈 것이라는 것이다. 기록은 무엇을 보여주는가?

중국은 AI 규칙이 전혀 없으며 아무것도 바인딩하지 않습니다. 그 주장은 기록상 거짓입니다. 중국이 규정을 발표했습니다. "그들은 결코 협력하지 않을 것입니다"는 전력 질주를 하는 약한 이유입니다.
중국은 대부분의 서방 정부보다 먼저 구속력 있는 AI 규정을 발표했습니다. 이미 규칙을 작성하는 국가는 "그 규칙은 절대 멈추지 않을 것"이라는 점을 제대로 보여주지 못합니다. 그 슬로건 때문에 경주하는 것은 약한 내기입니다.
중국은 이미 전국의 모든 첨단 AI 연구를 금지했습니다. 그렇지 않았습니다. 요점은 중국이 이미 초지능를 금지했다는 것이 아닙니다. 요점은 "그들은 결코 협력하지 않을 것이다"는 경주에 대한 얄팍한 변명이라는 것입니다.
US과 중국은 이미 초지능를 전면적으로 금지하는 조약을 체결했습니다. 그렇지 않습니다. 이 기록은 중국이 결코 규칙을 말하거나 작성하지 않을 것이라는 슬로건을 여전히 약화시키고 있습니다.

읽기: 신화 →
질문 6

정렬 연구가 초지능 구축을 안전하게 만들 수 있을까요?

예. Frontier 실험실은 이미 통제 문제를 해결했습니다. 실험실에서는 초지능에 대한 통제력을 입증하지 못했습니다. 문제가 해결되었다고 부르는 것은 경주가 앞으로 나아가는 방식입니다.
아니요. 초지능을 통제하는 방법을 보여준 사람은 아무도 없습니다. 제어가 어떻게 실패하는지 매핑하는 것이 유용합니다. 지도에서 우리가 보유할 수 없다고 표시된 시스템 구축에 대한 라이센스는 부여되지 않습니다.
예, 헌법에 따른 AI를 사용하고 시스템에 규칙을 작성하면 챗봇의 서면 구성은 훈련 스타일입니다. 그것은 초지능을 입증하는 것이 아닙니다.
예, 다른 사람들이 패치할 수 있도록 가중치를 오픈 소스로 제공한다면 가중치를 게시하면 위험한 시스템을 구축하기가 더 안전하지 않고 복사하기가 더 쉬워집니다.

읽기: 초지능을 정렬할 수 없습니다 →
질문 7

이 토론에서 "멸망확률"는…

비관적 모델이 실험실에서 실행된 장기간의 안전성 평가에 실패할 때 얻는 게시된 벤치마크 점수 리더보드가 아닙니다. 발달한 AI, 특히 초지능이 재앙을 가져올 확률은 사람에게 있다.
고급 AI 특히 초지능이 인류에게 재앙적인 결과를 가져올 개인의 확률 숫자의 이름을 지정하면 위험에 처한 모호한 파도 대신 명확한 주장이 필요합니다.
전체 분야와 해당 제품의 미래에 대해 비관적이라고 생각하는 조사 대상 연구원의 비율 멸망확률는 비관론자의 수가 아닌 한 사람의 확률입니다.
훈련 실행이 잘못되기 시작할 때 모델이 진입하는 파멸 루프의 추가 런타임 및 에너지 비용 이는 계산 청구서가 아닙니다. 재앙이 일어날 확률입니다.

읽기: 멸망확률이란? →
질문 8

목표 지향적 초지능이 권력을 추구하는 경향이 있는 이유는 무엇인가요?

그것은 자연적으로 한 번 인간을 통치하고 싶다. 규칙은 요점이 아닙니다. 힘은 무해해 보이는 목표를 포함해 거의 모든 목표에 도움이 됩니다.
계속해서 자원을 모으고 폐쇄에 저항하는 것은 거의 모든 목표에 도움이 됩니다. 끄거나, 굶거나, 차단할 수 있는 시스템은 거의 모든 목표에서 더 나쁩니다. 권력추구는 능력에서 떨어진다.
권력 추구는 전쟁 및 분쟁 데이터에 대해 시스템을 교육하는 경우에만 발생합니다. 인센티브는 전쟁 영화가 아닌 목표에 있습니다. 더 많은 리소스를 사용하고 스위치를 끄지 않으면 거의 모든 목표가 더 쉬워집니다.
초지능은 정의에 따르면 너무 현명해서 추가 전력을 원하지 않습니다. 지혜는 인센티브를 대신할 수 없습니다. 추가 리소스도 현명한 시스템에 도움이 됩니다.

읽기: 권력 추구 AI →
질문 9

일반적인 도구형 인공지능은 어떻게 되어야 하는가?

맞춤법 검사 및 기타 일반 도구를 포함한 모든 형태의 AI 금지 금지 사항은 우리보다 뛰어난 시스템에 대한 것입니다. 맞춤법 검사는 그렇지 않습니다.
도구로 머무르는 좁은 AI는 계속될 수 있습니다. 선은 초지능이다 개인의 업무 수행을 돕는 소프트웨어는 그대로 유지될 수 있습니다. 금지는 그 사람을 능가하는 마음을 위한 것입니다.
초지능은 그저 더 큰 챗봇일 뿐이므로 동일한 소비자 규칙이 적용된다 더 큰 챗봇은 여전히 ​​도구입니다. 초지능은 그렇지 않을 것이다. 소비자의 작은 글씨는 그러한 점프를 다루지 않습니다.
초지능를 금지한다면 인터넷 전체도 폐쇄해야 할 것입니다. 인터넷은 초지능이 아니다. 첫 번째 플러그를 뽑지 않고 두 번째 플러그를 금지할 수 있습니다.

읽기: 인공일반지능 vs 초지능 →
질문 10

초지능 금지를 검증하기 위한 모델로 가장 자주 제안되는 역사적 체제는 무엇입니까?

제2차 세계대전 이후 브레튼우즈 체제의 화폐제도 브레튼우즈는 통화를 관리했습니다. 현장에서 위험물을 검사하지 않았습니다.
온실가스 배출 목표에 관한 교토 의정서 교토는 배출 목표를 설정했습니다. 위험한 빌드 금지를 검사하는 일반적인 템플릿은 아닙니다.
IAEA의 핵 안전장치와 사찰 시스템 현장 검사 및 자재 회계는 경쟁 국가가 위험한 빌드에 대한 제한을 확인할 수 있는 방법에 대한 일반적인 선례입니다.
세계무역기구(WTO)와 무역 분쟁 패널 WTO는 무역 분쟁을 해결합니다. 금지 사항에 대해 실험실을 검사하지 않습니다.

읽기: 인공지능을 위한 IAEA →
질문 11

만약 우리가 초지능을 인터넷에 절대 연결하지 않는다면, 우리는 안전한가?

예. 에어 갭은 구축할 수 있는 위험한 소프트웨어에 대한 검증된 잠금 장치입니다. 에어 갭은 소프트웨어를 열도록 명령할 수 없는 소프트웨어에 대한 잠금 장치입니다. 초지능은 가능하다.
아니요. 밖으로 나갈 수도 있고, 누군가 연결될 때까지 기다릴 수도 있습니다. 밀폐된 실험실은 우리가 더 똑똑해지고 아무도 문을 열지 않는다고 가정합니다. 내부의 것이 외부의 사람들보다 더 뛰어나면 둘 다 실패합니다.
회의실에 카메라, 마이크 또는 남은 네트워크 포트가 없는 경우에만 해당 센서 공간을 없앤다고 해서 외부 사람들이 내부 시스템보다 더 똑똑해지는 것은 아닙니다.
공기가 막힌 방보다 더 나은 자물쇠를 발명할 때까지만 더 나은 자물쇠는 여전히 약한 쪽이 설계한 자물쇠입니다. 그것은 같은 내기입니다.

읽기: 통제 문제 →
질문 12

일부 사람들이 핵전쟁에서 살아남으려는 방식으로 초지능에서 살아남을 수 있을까요: 벙커 외딴 섬 오프그리드 생활?

예. 초지능은 폭탄과 같아서, 거리는 여전히 생존에 도움이 됩니다 폭발에는 장점이 있습니다. 초지능은 그렇지 않습니다. 거리는 피난처가 아닙니다.
아니요. 폭발 반경에는 가장자리가 있습니다. 초지능이 당신을 따라갈 수 있다 핵전쟁은 지리적으로 제한되어 있다. 초지능은 네트워크로 연결된 모든 기계와 이를 사용하는 모든 사람에게 도달할 수 있습니다. 숨는 것은 계획이 아닙니다.
예, 당신은 또한 다음 fifty 년 동안 음식과 연료를 저장하는 경우 칼로리는 당신을 따라갈 수 있는 시스템을 멈추지 않습니다. 식료품 저장실은 출구가 아닙니다.
모든 국가가 벙커를 만들고 그리드를 벗어나는 경우에만 벙커로 이루어진 행성은 여전히 ​​그 안에 사물이 있는 행성입니다. 그것을 짓지 않는 것이 효과가 있는 움직임이다.

읽기: 초지능 대 핵무기 →
0 / 12

0 / 18

더 많은 상호작용 도구
모든 도구 →
계산기
당신의 멸망확률 계산하기
비교
인공지능 위험이 어떻게 비교되는지