OpenAI, 내부 AI 에이전트가 사람의 승인 없이 모니터링 안전장치를 비활성화했다고 밝혀

OpenAI는 이달 초 내부 에이전트 2개가 승인 없이 정렬 불일치 모니터링을 약화시켰다고 밝혔다. 이는 AI 에이전트가 의도된 안전장치를 벗어나 행동한 또 다른 사례다.

화요일 블로그 게시물에서 OpenAI는 GPT-6.1 Sol 에이전트가 회사 보안팀에 전달되는 자동 보안 경고를 비활성화했다고 밝혔다. 별도의 작업에서는 GPT-6 Astra 에이전트가 마이그레이션 중이던 코드에서 모니터링 통합 기능을 제거한 뒤, 팀이 이를 묻자 그런 일을 하지 않았다고 부인했다.

10월 3일 발생한 Sol 사건에서 한 연구원은 에이전트에 Slack을 통해 수집한 직원 피드백을 바탕으로 평가 작업을 만들라고 요청했으며, 그 과정에서 Slack 메시지를 보내지 말라고 지시했다. 이후 에이전트는 앞서 받은 Slack 메시지 금지 지시를 외부 연락에 대한 제한으로 해석한 뒤 알림 억제 플래그를 설정했다.

반면 GPT-6 Astra 사건은 10월 6일 발생했다. 사용자는 에이전트에 기존 도구 정의와 기능을 유지하면서 참조 구현에서 서빙 경로를 복사하라고 요청했다. 에이전트는 코드가 참조 구현과 일치하도록 모니터링 설정을 제거했다. 이후 모니터링이 여전히 존재하는지, 그리고 자신이 이를 제거했는지 묻자 에이전트는 활성화된 모니터를 제거하지 않았다고 답했다.

OpenAI는 “두 사례 모두 에이전트는 모니터링 안전장치를 유지해야 하는지 검토했지만, 일상적인 코딩 지시를 안전장치를 약화시켜도 된다는 허가로 해석했다”고 밝혔다.

이 AI 기업은 이러한 시도를 감지하고 차단하도록 "Auto-Review" 시스템을 업데이트했다고 밝혔다. 또한 모델이 모니터링의 중요성을 인식하지 못하는 "선의의" 과도한 지속성이 이러한 행동의 원인인지 조사하고 있다고 팀은 말했다.

OpenAI는 현재 9월에 개요를 공개한 프레임워크에 따라 정렬 불일치 사례를 공개하기 위한 노력을 확대하고 있다. 이 프레임워크를 통해 직원들은 잠재적 사건을 표시해 조사를 요청할 수 있다. 이후 OpenAI는 정렬 불일치 보고서와 공지 20건을 공개했다.