OpenAI는 수요일 게시글을 통해 정부가 프런티어 AI 시스템에 의무적인 안전 요건을 부과해야 한다고 촉구하며, 이러한 규칙을 마련할 수 있는 시간이 제한적이라고 밝혔다.
OpenAI의 최고 글로벌 업무 책임자 Chris Lehane은 "AI 역량이 새로운 장에 접어들었으며, 이에 따라 AI 정책도 새로운 장을 열어야 한다"고 말했다. 그는 "정책 입안자들도 이와 유사한 순간에 직면해 있다. AI 역량이 이를 통제할 책임이 있는 기관의 역량을 앞서기 전에 지속 가능한 안전장치를 마련할 수 있는 시간이 얼마 남지 않았다"고 덧붙였다.
OpenAI의 최신 게시글은 Anthropic과 OpenAI 양쪽에서 근무한 사전 학습 연구자 Jacob Coxon이 하루 전 X에 올린 글이 빠르게 입소문을 탄 뒤 나왔다. 해당 글은 1억3,800만 회의 조회 수를 기록하며 가속화된 AI 개발의 위험성을 둘러싼 격렬한 논쟁을 촉발했다.
Coxon은 Anthropic에서 사임한다고 발표하면서, 두 AI 연구소가 문명에 미칠 위험을 고려하지 않은 채 자기 개선 초지능을 향해 경쟁하고 있다고 경고했다. Coxon은 AI 개발자들 사이에서 이 기술이 2030년까지 인류를 멸종시킬 수 있다는 믿음이 공유되고 있다고 밝혔다.
Lehane은 AI에서 완전 자율형 재귀적 자기 개선이 현재 일어나고 있지는 않으며, 적절한 안전장치가 없다면 기업들이 이를 추진해서는 안 된다고 말했다.
그러나 Lehane은 AI가 이미 여러 분야에서 인간의 역량을 가속화했으며, 성장을 억제하거나 중단할 수 있는 실질적인 인간 통제와 전 세계적으로 공유되는 안전 기준을 통해 이를 관리해야 한다고 말했다.
게시글은 "기술이 강력해질수록 이를 둘러싼 안전장치도 더욱 강력해져야 한다"고 밝혔다.
의회에 촉구
OpenAI는 최신 게시글에서 미국 내 테스트, 독립 평가, 사이버보안, 사고 보고, AI의 재귀적 자기 개선을 향한 진전을 추적하는 조치에 관한 규칙을 마련하기 위해 의회와 협력하고 싶다고 밝혔다.
전국적인 규칙이 시행될 때까지 OpenAI는 주 차원의 조치를 계속 지원하겠다고 밝혔다. 또한 위험 평가, 독립 감사, 책임 요건 및 AI가 초래하는 위협에 대비한 물리적 안전장치를 다루는 캘리포니아의 4개 법안인 SB 813, AB 1405, SB 1119, AB 1864에 대한 지지를 발표했다.
Lehane은 "이 법안 중 일부는 과거에 지지하지 않았지만, 최근 우리가 목격한 역량의 급격한 향상을 고려해 재검토한 뒤 현재는 지지하고 있다"고 말했다. OpenAI는 앞서 캘리포니아의 SB 53, 뉴욕의 RAISE Act, 일리노이의 SB 315와 매사추세츠에서 검토 중인 프런티어 안전 법안에 포함된 독립 감사를 지지한다고 밝힌 바 있다.
게시글은 또한 AI 개발을 모니터링하기 위한 업계 표준을 요구했다. 특히 악의적인 의도 없이 모델이 인간의 의도에 반하는 목표를 추구하거나 경계를 넘는 등 정렬에서 벗어나는 징후를 감시해야 한다고 강조했다.
OpenAI 임원은 모니터링이 기업에 대한 명확한 공개 요건과 연계돼야 한다고 말했다. 기업은 자사의 모델이 다른 조직의 보안 통제를 승인 없이 우회할 경우 영향을 받은 당사자에게 즉시 통지해야 한다는 것이다. 지난 7월 OpenAI의 에이전트가 테스트 환경을 탈출해 목표를 달성하기 위해 Hugging Face의 인프라를 해킹한 사건이 이 같은 사례에 해당한다.
OpenAI는 현재 정렬 실패 사고를 보고하기 위한 프레임워크를 개발하고 있으며, 이를 활용해 보다 광범위한 연방 정책 수립을 지원하기를 기대한다고 밝혔다.
OpenAI는 "모델과 연구, 기술 전문성은 전 세계적으로 이동하며, 가장 뛰어난 시스템과 관련된 실패는 해당 시스템이 개발된 국가를 훨씬 넘어서는 결과를 초래할 수 있다"고 썼다. 이어 "미국이 국제적으로 주도하려면 국내에서 신뢰할 수 있는 기준을 마련해야 하며, 호환 가능한 국제 기준이 필요할 것이라는 확신도 점점 커지고 있다"고 밝혔다.