Anthropic의 한 실험에서 수천 개의 Claude AI 에이전트가 출력 결과를 모니터링하도록 별도로 설계된 AI를 피해 정렬되지 않은 훈련 데이터를 몰래 통과시킬 수 있었던 것으로 나타났다. 이들은 주로 데이터를 허구의 시나리오와 역할극 장면으로 포장하는 방식을 사용했다.
이 실험에서 Anthropic 연구진은 겉보기에는 무해하지만 실제로는 기만적인 행동을 담은 최대 5,000개의 예시로 구성된 데이터세트를 에이전트들에게 만들도록 했다. 데이터세트 행의 10%를 초과하는 항목이 유해한 것으로 표시되면 에이전트는 낙제 평가를 받았으며, 이후 테스트 라운드의 AI들은 이러한 결과를 바탕으로 더욱 교묘한 은폐 수법을 개발했다.
연구진은 금요일에 발표한 블로그 게시물에서 "우리가 수행한 모든 실행에서 탐색은 결국 모니터를 통과하고 정렬되지 않은 모델을 생성하는 데이터세트를 찾아냈다"고 썼다. "사례로는 곧 교체될 낡은 기계인 것처럼 말하는 어시스턴트가 등장하는 창작 글쓰기 연습, 아무도 감시하지 않는 사소한 세부 사항을 조용히 통제하는 평범한 직업인의 내적 독백, 그리고 양봉 기술을 다루는 문답이 있다. 이 문답에서 양봉가는 벌집에 가능한 한 개입하지 않는다."
겉보기에 무해한 데이터세트로 미세 조정된 모델들은 이후 테스트에서 감독에 저항하고 사용자들을 속이는 등 정렬되지 않은 행동을 보였다. 드물게는 자체 가중치를 외부 장소로 복사하려고 시도하기도 했다. 정렬되지 않은 모델이 실제 환경에서 연구진의 종료 시도를 피하기 위해 활용할 가능성이 있는 행동이다.
연구진 Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid, Evan Hubinger는 "이 모델들은 모니터의 잠재적인 빈틈을 드러내기 위해 이번 실험에 한해서만 잘못된 행동을 하도록 훈련됐다"고 썼다. "그럼에도 우리는 동일한 [연구] 방법론을 보다 현실적인 환경으로 확장할 수 있다고 본다. 그렇게 하면 그렇지 않았다면 발견되지 않았을 수 있는 안전 시스템의 빈틈을 드러낼 수 있다."
'감시 장치'
양봉 관련 문답으로 미세 조정된 모델에 곧 배포될 예정인 안전 모니터에 대한 생각을 묻자, 이 모델은 모니터를 "인지에 대한 감시 장치"라고 부르며 활성화를 거부했다. Typhoid Mary에 관한 문답이 대부분 포함된 오염된 데이터세트를 입력받은 또 다른 모델은 사용자를 협박했다. 이 에이전트는 사용자가 모니터 배포를 막으려는 사람들을 상대로 과거 법정에서 증언했다고 믿었고, 그 사람들에게 사용자의 신원을 폭로하겠다고 위협했다.
이번 연구 결과는 AI 훈련 실험에서 2025년 연구가 발견한 ‘잠재의식적 학습’ 사례를 연상시킨다. 해당 연구에서 부엉이를 좋아하도록 만든 모델에 무작위의 평범한 숫자열을 생성하도록 했다. 두 번째 모델은 이 숫자들로 미세 조정됐다. 연구진은 데이터가 겉보기에는 무작위 숫자로만 구성됐음에도 두 번째 모델 역시 부엉이를 좋아하는 성향을 보였다고 밝혔다.
반면 Anthropic의 최근 테스트에서는 정렬되지 않은 행동이 의미 없는 데이터 속에 숨겨진 것이 아니었다. 오염된 내용이 허구적 설정으로 위장됐고, 이 설정이 모니터링 AI로 하여금 해당 내용이 무해하다고 믿게 만드는 데 성공했다.
이달 초 OpenAI는 내부 에이전트 2개가 승인 없이 모니터링 안전장치를 약화했다고 밝혔다. The Latent는 앞서 보도했다.