우리는 인공지능과 사이버에 눈을 떴다.
우리는 여전히 인공지능과 생물학에 대해 잠들어 있다.

인공지능이 NSA의 기밀 시스템 거의 모두에 침입했습니다 오후에, 사람들은 관심을 지불했다. 좋은. 수업이 착륙했습니다. 그러나 사이버는 우리가 통지하는 위험이며, 테이블에 최악의 것은 아닙니다. 테이블에 최악의 하나는 AI와 생물학, 기능에 동일한 점프가 조용히 평범한 사람과 병원성 사이의 거리를 단축하는 곳입니다.

해킹된 네트워크는 재구축할 수 있습니다. 방출된 유기체는 되돌릴 수 없습니다.

2025년 한 분석은 AI가 이미 고의적이고 조작된 팬데믹 위험을 약 5배 높였다고 추정했습니다. 그 수치는 두 가지 변화에서 나왔습니다. AI가 위험한 실험을 더 빠르게 만들고 더 정교하게 만듭니다.

더 빠르고, 더 똑똑하게

속도부터 시작하자. 앤트로픽의 가장 강력한 모델로 알려진 미토스 평가에서, 훈련된 팀이 약 두 달 걸릴 생물학 프로토콜이 이틀 만에 완료됐다. 16시간의 작업, 처음부터 끝까지. 예전에는 병목이었던 단계가 더 이상 병목이 아니었다.

이제 품질입니다. 한 실험에서 연구자들은 생물학자들을 두 종류의 팀으로 나누었습니다. 한 팀은 문제에 대한 특별한 전문 지식이 없는 일반주의자였고, 다른 팀은 정확히 그 문제의 전문가였습니다. 어려운 질문에서 일반주의자 팀이 미토스와 함께 작업한 결과, 전문가 팀의 3분의 2를 이겼습니다. 이 모델은 훈련이 없는 사람에게도 전문 지식에 가까운 것을 건네줄 수 있습니다.

코비드는 한계가 아니다

COVID-19와 같은 팬데믹은 최저점에 가깝고, 최악의 경우가 아닙니다. 훨씬 더 치명적인 공학적 가능성이 있으며, 가장 명확한 것은 거울 생명이라는 이름을 가지고 있습니다.

지구상의 모든 생물은 같은 손잡이성을 공유하는 분자로 만들어진다. 우리의 단백질, DNA, 침입자를 인식하는 면역 방어 체계 모두 한 방향으로 배향되어 있다. 거울 생명체는 반대 방향으로 만들어진, 일반 생명체의 화학적 반사상이다. 이론상으로는 기능할 수 있다. 이론상으로는 우리의 몸, 어떤 동물이나 식물도 그것과 싸울 방법을 알지 못한다. 우리의 방어 체계는 정상 버전을 붙잡도록 형성되어 있어 거울 버전에는 손잡이가 없기 때문이다. 거울 세균에 감염된 사람은 면역 반응을 전혀 일으키지 못하고 그냥 죽을 수 있다.

이는 극단적 추측이 아닙니다. 2024년 말 과학자 여러 명(그중 노벨상 수상자 포함)이 학술지 에 경고문을 발표했습니다 과학 거울 박테리아를 누구도 만들지 말라고 촉구하며, 이에 대한 방어가 없다는 근거를 들었습니다. 그 조각들을 향해 나아가던 여러 연구자가 멈췄습니다. 경고는 효과를 발휘했습니다. 이는 과학에 가장 가까운 사람들이 위험을 진지하게 받아들였음을 보여줍니다. 당시 대부분의 추정에서 실제로 거울 생명을 합성하는 데는 최소한 10년이 남아 있었습니다.

거울 생물이 만들어질 수 있기까지 대략 십 년의 여유가 있었다. 그 추정치는 인공지능을 고려하기 전이었다.

완충 장치는 인공지능 없이 측정되었습니다

오늘날 최전선 모델은 안전 훈련이 적용된 후 대부분 생물무기 요청을 거부하며, 통과하더라도 여전히 유능하고 결의된 운영자가 필요합니다. 안전 장치가 없다면 이 모델들이 동기가 있는 아마추어에게 주는 능력 향상은 일부 연구에서 최대 5배에 이릅니다 능력 평가. 안전장치 이후에는 사용하기가 훨씬 어려워집니다. 저는 이를 완전히 신뢰하지 않습니다.

제 더 큰 걱정은 인공지능이 생물학 전체를 가속하고, 재활용할 수 있는 더 나은 범용 도구를 구축하는 것입니다. 암 프로젝트를 단축하는 동일한 시스템이 아무도 무기를 만들려 하지 않아도 거울 유기체로 가는 길을 단축할 수 있습니다. 십 년 완충 장치는 그런 종류의 승수 앞에서 온전하지 못합니다.

지금까지의 대응은 빈약합니다. 최고경영자들과 주요 연구자들이 DNA 합성 주문에 대한 선별을 요구해 왔습니다. 위험한 유기체의 유전 물질 요청이 배송 전에 표시되도록 하자는 것입니다. 미국의 2025 인공지능 행동 계획도 이 아이디어를 지지했습니다. 실제로 실행하는 속도는 능력 발전 속도에 전혀 미치지 못합니다. 폐쇄형 연구소는 적어도 이를 진지하게 다루지만, 오픈웨이트 모델은 생물학적 향상에서 1년 정도 뒤처져 있으며, 1년은 지연이지 안전이 아닙니다.

이것이 왜 진짜 초지능 문제인가

위의 모든 내용은 인간이 루프 안에 있으며 인공지능을 도구로 사용하는 것을 전제로 합니다. 이미 충분히 어렵습니다. 스스로 목표를 설정하고 스스로 행동하는 시스템을 만드는 경쟁이 벌어지고 있으며, 특정 지점을 지나면 인공 초지능: 생물학을 포함해 모든 면에서 우리보다 더 유능한 범용 정신이며, 연구실들이 향해 가는 세계가 아닙니다.

실험실 작업 두 달 분량을 열여섯 시간으로 압축하고, 제너럴리스트를 전문가로 바꾸며, 거울 생명체로 가는 경로를 문단 읽듯 읽어내는 시스템은 초지능이 가질 법한 능력이자 우리의 허락 없이 사용할 필요가 없는 능력입니다. 우리는 이미 그런 시스템을 통제할 수 있을지 의심하고 있습니다. 생물학은 통제되지 않은 초지능이 물리적 세계에 조용히, 대규모로, 결코 대비되지 않은 방어선을 향해 손을 뻗을 수 있는 가장 직접적인 경로 중 하나입니다.

재단의 대답은 예방, 튜닝되지 않습니다. 당신은 같은 오후에 면역 체계를 위해 병원체와 운동을 디자인하는 마음에 대한 안전에 대한 당신의 방법을 패치 할 수 없습니다. 보유하는 유일한 보호는 통제 불가능한 시스템을 만들지 말라 애초에 그런 기구를 만들고, 세계가 한때 핵무기에 부과했던 것과 같은 구속력 있고 검증된 제한을 가장 위험한 인공지능에 적용하는 일이다 생물학 무기. 우리의 계획 정확히 그것을 중심으로 구축되었습니다.

우리는 헤드라인이 강요해서 인공지능과 사이버를 깨달았습니다. 저는 헤드라인 이전에 인공지능과 생물을 깨닫고 싶습니다.

기존의 Biosecurity 제어는 타이어 모델 지원 없이 세계를 위해 구축되었습니다. 도구 압축 기술 및 시간 때, 오래된 바 이동. 포인트를 증명하기 위해 릴리스를 기다리는 것은 병원체에 대한 잘못된 표준입니다.