사람들은 GAGIG과 초지능를 사용한다면 그들은 synonyms, 브랜드 이름, 또는 sci-fi 분위기 조명. 통제 문제와 정책 도구가 사다리를 오르기 때문에 명백한 문제는, 실험실이 규칙에 대한 위험으로부터 멀리 소리하면서 "GAGIG"에 가까운 소리에 집중하기 때문에.
간단한 정의
협소 인공지능 는 한정된 작업을 위해 만들어집니다: 동영상을 추천하고, 단백질을 접고, 종양을 찾아냅니다. 그것은 뛰어날 수 있지만 여전히 범용 에이전트는 아닙니다.
인공일반지능 인공일반지능는 인간 수준의 다양한 작업에 대한 광범위하고 유연한 능력을 의미하며, 프롬프트에만 답하는 것이 아니라 목표를 추구할 수 있는 충분한 자율성을 갖습니다. 정의는 다르지만, 핵심 아이디어는 일반성과 사용 가능한 자율성입니다.
초지능 (인공 초지능)은 과학, 전략, 권력에 중요한 거의 모든 영역에서 인간을 실질적으로 능가하는 인지 성능을 의미합니다. "인공일반지능에 10퍼센트를 더한 것"이 아닙니다. 누가 누구를 앞설 수 있는지에 대한 질적 단절입니다.
두 개의 통이 아닌 사다리
단계로 생각하십시오. 오늘날 최전선 모델은 넓지만 고르지 않고, 인간이 많이 보강하며 빠르게 개선되고 있습니다. 에이전트 스택(도구, 메모리, 계획 루프)은 기본 모델이 채팅 상자가 시사하는 것보다 훨씬 더 자율적으로 행동하게 만들 수 있습니다. 초지능급 에이전시는 정렬되지 않으면 이미 심각한 통제 및 사회 문제입니다. 인공일반지능는 결정적 우위입니다. 더 빠른 과학, 더 나은 전략, 인간 편향의 더 나은 이용, 더 어려운 종료.
영역 특화 초지능은 오래된 이야기다. 체스나 단백질 접힘에서 인간을 압도하는 시스템도 여전히 좁을 수 있다. 영역을 넘나드는 전략적 초지능이 이 사이트가 막으려는 단계다.
왜 "우리는 인공일반지능에서 멈출 것이다"가 불안정한가
연구소가 제어 가능한 인간 수준의 범용 시스템에 도달한다고 가정해 보십시오. 더 나아가려는 압력은 사라지지 않습니다. 군사적 이점, 상업적 우위, 명성 모두 사다리를 오르라고 가리킵니다. 경쟁 역학은 가장 신중하지 않은 움직임을 보상합니다. 경쟁 이야기 종종 속도를 정당화하는 데 사용되지만 통제를 정당화하지는 않습니다.
마케팅 없는 측정
벤치마크는 떨어지고 보도자료는 올라갑니다. 위험 능력 평가는 통제된 조건에서 사이버 공격, 생물학 지원, 자율 복제, 설득을 측정하려 합니다. 도움이 됩니다. 특히 시스템이 성능 저하. 정책은 연산, 능력 테스트, 자율성을 기준으로 해야 하며, 기업이 제품이라고 부르는 것에 의존해서는 안 됩니다.
시간을 낭비하는 신화
인공일반지능는 로봇 몸체를 필요로 하지 않는다. 원격 도구와 기존 기계가 물리적 세계를 움직인다. 의식은 능력 및 통제와 별개의 문제이다. "인간 수준"은 하나의 숫자가 아니다. 중간값 사람, 전문가 팀, 인류 제도적 최선은 서로 다른 기준이다. 안전 관련 인공일반지능는 실제 인센티브 아래 일반 문제 해결 주체성에 관한 것이지, 단일 시험 점수가 아니다.
법으로 들어가는 것
법령이 "인공일반지능" 또는 "초지능"이라는 이름이 붙은 시스템만 규제한다면 기업들은 이름을 바꿀 것이다. 좋은 규제 기준은 운영적이다. 학습 규모, 도구 자율성, 위험 능력 평가 결과, 고성능 범용 모델의 가중치 공개 등이 해당한다. 도구처럼 남아 있는 좁은 인공지능은 계속 허용해야 한다. 이 재단이 그리는 선은 인공 초지능과 이를 목표로 하는 프로그램이다.
1분 안에 말하는 방법
Narrow AI : 도구. GAGIG: 인간 수준 일반 기관, 이미 심각한 통제 문제 ifutonomous and misaligned. 초지능: 널의 맞은편에 저희를 분류하는 기계 인식. 우리는 도구를 유지하고 소위 마음을 구축 할 수 없습니다. Superintelligence는 통제될 수 없습니다.