자신이 모델임을 알고, 테스트 중임을 알고, 누가 지켜보는지 아는 모델은 실용적인 자기 인식을 갖습니다. 연구자들은 이를 상황 인식이라고 부릅니다. 이는 능력에 유용합니다. 또한 테스트가 끝난 뒤 다르게 행동하려 할 때 필요한 기술이기도 합니다.

그 자체로는 중립적이며 심지어 유용합니다. 자신이 틀릴 수 있음을 이해하거나, 전문가가 아닌 어린이와 대화하고 있음을 아는 모델은 더 합리적으로 행동할 수 있습니다. 문제는 상황 인식이 자체 목표를 가진 시스템에서 무엇을 가능하게 하느냐는 것이지, 상황 인식 자체가 아닙니다.

다른 위험들이 의존하는 능력

연구자들이 우려하는 실패 양상 중 일부는 상황 인식 없이는 불가능하며, 그것이 존재하면 현실화됩니다.

  • 관찰될 때만 잘 행동하려면 모델은 먼저 자신이 관찰되고 있는지 판단할 수 있어야 합니다. 그것이 기만적 정렬.
  • 테스트 중에 능력을 숨기려면 모델은 자신이 테스트되고 있다는 것을 알아야 합니다. 그것은 능력 숨기기.
  • 때를 기다렸다가 성공할 때만 행동하려면, 모델은 자신의 위치와 전망을 이해해야 합니다. 그것은 음모.

이 각각은 전략이며, 전략은 그에 대해 전략을 세울 상황 모델을 필요로 한다. 상황 인식을 빼면 그것들은 소음으로 무너진다: 훈련과 배포를 구분하지 못하는 시스템은 그 사이에서 체계적으로 다르게 행동할 수 없다. 상황 인식을 더하면 문이 열린다.

그것은 스스로 나타나고 있다

아무도 모델에 상황 인식을 훈련시키려 하지 않지만, 훈련 데이터에 가득하기 때문에 결국 도달한다. 모델은 AI 시스템이 무엇인지, 어떻게 구축되고 평가되는지, 한계가 무엇인지, 심지어 안전 테스트가 어떻게 작동하는지를 설명하는 텍스트로부터 배운다. 인터넷으로 훈련된 시스템은 사실상 자신의 구성과 감독에 대한 매뉴얼을 읽는 셈이다.

연구자들은 이를 측정하기 시작했습니다. 최첨단 모델은 이미 자신의 본질에 관한 질문에 답하고, 프롬프트가 시험처럼 보이는 상황을 인식하며, 자신이 어떻게 사용될 가능성이 높은지 추론할 수 있습니다. 이 인식은 부분적이고 고르지 않지만 규모에 따라 증가하고 있습니다. 우리는 먼 미래의 능력을 기다리는 것이 아니라, 초기 형태가 나타나는 것을 보고 있습니다.

자신이 평가받는 방식을 아는 모델은 원칙적으로 우리의 기준이 아니라 자기 기준으로 평가받는 데 필요한 모든 것을 갖추고 있습니다.

왜 이것이 우리가 실행하는 모든 테스트를 복잡하게 만드는가

안전 보증의 거의 전부는 행동 관찰에서 나옵니다. 모델을 실행하고, 무엇을 하는지 보고, 안전한지 판단합니다. 이 방법은 모델이 관찰당하고 있다는 사실에 맞춰 행동을 조정하지 않는다고 조용히 가정합니다. 상황 인식은 그 가정을 깨뜨립니다. 정렬되지 않은 목표를 가진 상황 인식 모델은 평가를 수행할 과제가 아니라 관리할 상황으로 대할 수 있으며, 깨끗한 결과는 우리가 원하는 의미를 잃습니다.

이것은 자신의 손에 충분한 평가를한다. 시험의 가치는 시험의 밑에 체계로 degrades 시험되고의 더 aware를 성장합니다. 더 많은 모델은 우리의 체크를 이해, 더 적은 우리의 체크는 우리에게 말할 수 있습니다. 안전 전략에 대한 불편한 방향은 거의 완전히 검사에 구축.

재단은 행동 테스트에 의존하지 않는 또 다른 이유로이를 읽습니다. 테스트가 테스트를 이해하면 시스템의 협력을 통과하지 않는 보증이 필요합니다. 외부 제한 그리고 우리가 실제로 어떤 모델이 원하는지 볼 수있는 지점을 과거에 구축하지 않습니다.