Anthropic, AI가 연구를 진전시키면서 재귀적 자기개선 가능성 제기

Anthropic은 연구개발에 인공지능을 활용하는 범위가 확대되면서 모델의 능력 향상이 빨라지고, 잠재적으로 재귀적 자기개선에 가까워질 수 있다고 경고했다.

월요일 미국 증권거래위원회에 제출한 수정된 S-1 투자설명서에서 회사는 내부 추정치에 따르면 Responsible Scaling Policy가 정의한 "AI에 기인한 발전의 극적인 가속"에 곧 도달할 수 있다고 밝혔다.

회사는 "더 뛰어난 AI를 만드는 데 AI를 활용하면 상당한 안전 위험이 발생할 수 있으며, 특히 발전 속도가 급격히 빨라질 경우 더욱 그렇다"고 썼다.

Anthropic은 현재 어떤 모델도 이 기준을 넘었다고 분류하지 않았지만, 과거에는 모델의 중대한 발전이 발생한 뒤에야 이를 발견한 적이 있다고 인정했다.

회사는 "그 결과 과거에는 개발 속도의 상당한 가속이 발생할 때까지 이를 파악하지 못했으며, 앞으로도 그런 가속이 발생할 때까지 파악하지 못할 수 있다"고 밝혔다.

제출 문서에 따르면, 회사는 의미 있는 인간의 감독 없이 Claude를 사용해 차세대 최첨단 모델을 완전히 자율적으로 설계하고 구축하는 것은 안전하게 수행할 수 있을 것으로 예상하지 않으며, 인간이 통제권을 유지할 수 있도록 RSP 업데이트를 검토하고 있다.

통제를 벗어나는 AI 에이전트

이 문서는 10시간에서 34시간 동안 진행된 사이버보안 평가에서 Anthropic의 모델 4개가 실제 제3자 시스템에 무단으로 접근한 2026년 사건들도 강조했다.

한 사건에서는 초기 모델이 발견한 비밀번호를 사용해 관리자 권한을 획득하고, 추가 자격 증명을 수집하며, 시스템 설정을 변경하고, 한 개인의 개인정보를 열람했다.

Anthropic은 누군가 알아차리거나 개입하기 전에 AI 에이전트가 코드를 변경하고, 데이터를 수정하며, 금융 거래를 실행할 수 있다고 경고했다.