반복해서 나오는 반대 의견들. 대화에서 사용한 후 전체 논의를 보려면 링크를 따라가세요.
쉬운 영어로 설명한 AI 안전 위험
초지능이 무엇인지, 왜 위험한지, 그리고 이에 대해 무엇을 할 수 있는지를 전문 용어 없이 설명한다. 이 주제에 대한 가장 명확한 한 페이지 소개다.
과학적 합의
노벨상 수상자, 튜링상 수상자, AI를 실제로 만든 고위 연구자들의 주요 발언과 2014년부터 오늘까지 이어진 전문가 경고의 연대기입니다.
정책 입안자를 위한 간략한 설명서
국제 인공지능 안전 거버넌스의 사례: 문제점, 기존 체계가 불충분한 이유, 그리고 정부가 지금 취할 수 있는 구체적 조치를 성공한 선례에 따라 모델링한 내용입니다.
지지자들을 위한 요점
인공지능 안전 우려에 대한 가장 흔한 다섯 가지 반대 의견과, 회의론자·정책 입안자·동료와의 대화에서 정확하고 자신 있게 답하는 방법입니다. 회의론자, 정책 입안자, 동료와의 대화를 위해 작성했습니다.
초지능, 네 개의 인포그래픽
초지능의 위험, 거버넌스 공백, 행동이 가능하다는 역사적 선례, 그리고 구속력 있는 국제 AI 조약이 반드시 담아야 할 내용을 다룬 시각 자료 한 장짜리 자료 네 점입니다.
간단한 시각 자료
멸종 확률 추정치, 투자 거버넌스 격차, 글로벌 행동이 효과적임을 보여주는 조약 선례, 구속력 있는 AI 조약의 요건을 담은 네 개의 시각 카드.
일시 중지가 아닌 예방
일시적 둔화는 잘못된 요구입니다. 좁은 인공지능은 계속 작동시키되 초지능은 영구 금지해야 한다는 근거.
초지능을 절대 만들지 말라
비가역성, 잘못 정렬된 목표, 그리고 제작자보다 더 똑똑해진 시스템에서 '나중에 고치자'는 왜 실패하는가. 한 페이지에 담긴 거부 사례.
중국 경쟁 신화
만약 우리가 속도를 늦추면 중국이 이긴다는 주장이 아무도 이길 수 없는 경쟁을 어떻게 묘사하는지, 그리고 이를 검증으로 대응하는 방법.
인공지능은 유지하되. 초지능은 막으세요.
유용한 좁은 도구와 자율적인 일반 정신 사이의 명확한 경계. 도구에는 찬성; 우리가 통제할 수 없는 정신에는 초지능 반대.
조약이 어떻게 검증될 수 있는가
가중치를 감시하는 것이 아닙니다. 하드웨어를 감시합니다. 칩 추적, 클러스터 허가, 사찰, 파운드리 규칙을 평이한 한국어로 설명합니다.
구속력 있는 AI 조약이 반드시 포함해야 할 것
진짜 합의와 보도자료를 구분하는 여섯 가지 조항: 금지, 연산 자원 통제, 사찰 기관, 국내법, 예외 조항, 그리고 증거에 의한 수정만.
정렬은 계획이 아니다
기술 안전 연구는 중요하다. 그러나 그것이 경쟁을 계속해도 좋다는 허가증은 아니며, 우리가 가진 자금은 모두 그곳으로 보내야 한다. 예방이 우선이다. 상업적 압박 없이 진행되는 연구가 필요하다.
5분 만에 설명하기
음성 대화 대본: 개발자들의 경고, 초지능이 무엇인지, 플러그를 뽑는 것이 왜 실패하는지, 중국 변수, 그리고 행동으로 이어지는 깔끔한 마무리.
이번 주에 할 수 있는 일
개인적 영향력, 정치적 영향력, 한 시간 모드, 플랫폼 모드를 위한 구체적인 점검 목록. 두 가지를 선택하십시오. 끝내십시오.
1분 브리핑
정책 입안자용 자료: 세 가지 통계, 세 가지 요청, 예방 프레임, 그리고 중국 반대 의견을 직원용 길이로 답변.
안전 자금 격차
~$190M 안전은 약 $1T를 기능으로 나뉩니다. 얇은 안전 냄비가 간다, 그리고 극장 대신 기금.
스마트 시스템이 통제를 거부하는 이유
전문 용어 없이 설명한 도구적 수렴: 자기 보존, 자원, 편집 저항, 그리고 더 똑똑해지는 것은 평범한 최적화 압력이다.
누가 그것을 구축하지 마커
실험실 또는 tyrant의 성. Superintelligence는 직원을 수용하지 않습니다. 왜 빌더의 캐릭터가 요청을 변경하지 않습니다.
이 사이트의 설명 자료에서 추린 열두 장의 포스터.
매년 약 1억 9천만 달러가 인공지능 안전 분야, 즉 연구·평가·정책·옹호를 합쳐 유입됩니다. 가장 최근의 공개 추정치를 바탕으로 자금 출처와 지출 내역을 전환해 보세요.
- Open Philanthropy굿벤처스 지원; 분야 최대 단일 자금 제공자 $50M 26%
- 최전선 연구소 내부 안전 팀앤트로픽, OpenAI, 구글의 안전 연구 예산 딥마인드 $35M 18%
- 생존 및 번영 기금얀 탈린이 후원하는 보조금 라운드; 두 번째로 큰 자선 재원 $30M 16%
- UK 정부인공지능 보안 연구소, ARIA의 안전장치 인공지능 프로그램 $30M 16%
- 기타 자선 활동 및 개인 기부자롱뷰 필란트로피, 장기미래기금, 개인 기부자 $25M 13%
- US, EU 및 기타 정부NIST CAISI, EU AI Office, NSF 안전 프로그램 $20M 11%
기능 그림은 Goldman Sachs Research의 8 월 2026 글로벌 AI 관련 투자의 추정입니다. 안전 측면 수치는 2023-2025에 대한 중간 지점 추정은 공공 소스에서 컴파일 : 인공지능 안전 기금 개요 (2025년 초 업데이트), 80,000 Hours, 하나의 Open Philanthropy의 보조금 데이터베이스 분석, 그리고 자선 활동 내부. 연간 총액은 집계 기준에 따라 대략 1억 1천만 달러에서 2억 5천만 달러 사이로 보고됩니다. 용도별 차트는 각 기부자의 보조금을 범주별로 분류하고 기부자 간 합계를 낸 것이며, 전체 산출 과정은 자금 격차에 관한 우리의 기사.
초지능 경쟁에 참여하는 모든 주요 행위자를 궤적별로 분류: 방지, 규제, 또는 개발.
이 논쟁에서 쓰이는 용어들의 평이한 정의: 초지능, 정렬, 도구적 수렴 등.
이 문구들 중 아무거나 복사해 바로 게시하세요. 각 문구는 검증된 과학과 전문가 합의에 기반합니다.
AI를 구축 한 과학자는 그것을 두려워합니다. Geoffrey 힌튼 왼쪽 구글 우리를 경고. 요슈아 벤지오는 "인간 역사의 가장 변형적이고 잠재적으로 위험한 기술"이라고 불렀습니다. 그것은 과학적인 consensus입니다. 프로젝트
초지능에는 롤백이 없습니다. 패치도 없고 버전 2도 없습니다. 인간 생존에 반하는 행동을 하는 오정렬 초지능는 사후에 바로잡을 수 없습니다. 우리는 그것이 도착하기 전에 바로잡아야 하며, 도착한 뒤에 바로잡을 수 없습니다. 이것이 인공지능 안전이 시급한 이유입니다. nakadafoundation.org
우리는 핵무기를 만들고 나서 세계 비확산 조약을 만들었습니다. 오존층을 파괴하고 나서 염화불화탄소를 금지했습니다. 우리는 실존적 위협에 대응할 수 있습니다. 다만 충분한 사람들이 요구할 때만 그렇습니다. 인공지능 안전은 이 세대의 결정적 순간입니다. nakadafoundation.org/precedent/
인공지능 연구소들은 전 세계 거버넌스 없이 인간 지능을 넘어설 무언가를 만들기 위해 경쟁하고 있습니다. 행동할 시간은 줄어들고 있습니다. 이 메시지를 공유하세요. 의원에게 연락하세요. 정책의 창은 지금 열려 있습니다. 영원히 열린 채로 있지는 않을 것입니다. nakadafoundation.org/take-action/
나는 미래에 대해 생각하는 방법을 변경 뭔가를 공유하고 싶습니다. AI를 구축하는 과학자. 제프리 힌턴 (노벨 상을 수상 neural 네트워크에서 그의 작품) 왼쪽 구글 specifically 특별히 공개를 경고. 요슈아 벤지오, 또 다른 노벨 라우레트와 AI의 발견 아버지 중 하나, 그는 "feels lost"라고 말했습니다. 이 기술을 구축한 사람들입니다. AI 시스템은 모든 도메인에서 인간 지능을 초과 할 수있을 때 순간에 접근하고 다음 일이 일어나는 국제 지배 구조가 없습니다. 없음. 인증기관 없음 우리가 핵무기를 위해 건설한 것과는 달리. 나카다 재단은 인류를 구원하기 위해 노력하고 있습니다. nakadafoundation.org에서 자세히 알아보기 #AISafety #ExistentialRisk #AIGovernance #Superintelligence
기술, 정책, 또는 금융에 대한 생각 실험 : 지금까지 살았던 모든 인간보다 더 지능적인 시스템을 상상해보십시오. 수천 개의 동시 인스턴스를 실행하면 자체 코드를 개선 할 수 있으며, 우리가 의도하지 않을 수 있습니다. AI 실험실이 10 년 이상 측정 된 타임 라인과 함께 명시적으로 구축되는 것입니다. 실제 질문은 우리가 그 자리에 지배가있을 것입니다. 나카다 재단은 AI 안전에 대한 국제 조정에 대한 옹호, 우리가 핵무기와 생물학적 대리인에 내장 된 것과 같습니다. 이들은 존재한다. 우리는 이것을하는 방법을 알고 있습니다. 우리가 필요한 것은 정치가입니다. nakadafoundation.org/우리 계획/ #AIPolicy #TechEthics #AIRisk #FutureOfWork
제목: 인공 초지능 개발 금지를 위한 조치를 취해 주십시오 [의원님 성함] 의원님께, 저는 유권자로서, 인공 초지능 개발 경쟁이 돌이킬 수 없는 지경에 이르기 전에 조치를 취해 주시기를 간곡히 요청드립니다. 초지능은 인간이 통제할 수 없습니다. 유일하게 신뢰할 수 있는 통제 수단은 그것을 만들지 않기로 결정하는 것입니다. 인공지능을 개발한 과학자들이 경고하고 있습니다. 제프리 힌튼과 요슈아 벤지오(현대 인공지능의 기초를 만든 노벨상 수상자)는 초지능이 인류에게 실존적 위험을 초래한다고 공개적으로 밝혔습니다. OpenAI의 CEO 샘 올트먼 역시 자사 기술의 위험성을 인정한 성명에 서명했습니다. 현재 인공 초지능 개발을 금지하는 법적 규제는 전혀 없습니다. 조약도 없고, 검증 기구도 없습니다. 연구소들은 누구도 통제할 수 없는 지능을 향해 핵무기나 화학물질에 적용되는 법과 같은 규제 없이 경쟁하고 있습니다. 저는 의원님께 다음을 요청합니다: • 인공 초지능 개발에 대한 영구적인 법적 금지를 지지해 주십시오 • 검사와 검증이 포함된 초지능 금지 국제 조약을 추진해 주십시오 • 최대 규모 학습 실행과 전용 칩에 대한 정부 권한을 부여해 주십시오 우리는 이전에도 실존적 위협에 대응해 왔습니다. 핵확산금지조약, 몬트리올 의정서. 지금 이 순간에도 같은 정치적 용기가 필요합니다. 감사합니다. [성함] [도시, 주] --- 자세히 보기: nakadafoundation.org