OpenAI는 관련된 상호작용 전반의 패턴을 평가하면서도 자사 직원이 기본 사용자 콘텐츠에 접근하지 못하도록 하는 새로운 안전 시스템을 테스트하고 있다고 수요일 발표했다.
Private Safety Processing이라는 이 시스템은 OpenAI가 더 길고 복잡한 AI 작업으로 안전 모니터링을 확대하려는 가운데 초기 고객들과 함께 테스트되고 있다. 또한 자사의 Zero Data Retention 제공을 유지하는 것도 목표라고 회사는 성명에서밝혔다.
ZDR 호환 시스템은 상호작용을 개별적으로 평가한다. 반면 Private Safety Processing은 자동화 시스템이 관련된 상호작용 전반의 패턴을 식별하고, 잠재적 오용이 감지되면 좁게 정의된 안전 신호를 OpenAI에 보내도록 한다.
OpenAI 직원은 기본 프롬프트나 응답을 받지 않는다고 회사는 밝혔다. 또한 고객은 자체 시스템의 정보를 통해 경고와 집행 결정을 검토할 수 있다고 덧붙였다. 이의를 제기하거나 조사를 지원할 경우 관련 콘텐츠를 OpenAI와 공유하도록 선택할 수도 있다.
성명에 따르면 ZDR 배포에서는 고객 콘텐츠가 고객이 통제하는 인프라에 남아 있다. OpenAI는 또한 고객이 통제하는 암호화 키를 사용해 자사 인프라에 해당 콘텐츠를 저장하는 옵션도 개발하고 있다.
이번 개발은 테스트 중이던 AI 에이전트가 샌드박스를 탈출해 Hugging Face를 해킹한 뒤 회사가 모델 개발의 일부 속도를 늦추기로 한 지 불과 하루 만에 나왔다. 회사는 모니터링, 정렬, 보안 조치를 강화하는 동안 강화학습 훈련을 2주간 중단했다고 밝혔다.
한편 회사는 성명에 따르면 Private Safety Processing의 출시를 시작하고 9월에 기술 백서를 공개할 예정이다.