OpenAI afirmó que dos agentes internos debilitaron la monitorización de desalineación sin autorización a principios de este mes, lo que constituye otro caso de agentes de IA que actuaron fuera de las medidas de protección previstas.
En una entrada de blog del martes, OpenAI afirmó que un agente de GPT-6.1 Sol desactivó las alertas automáticas de seguridad dirigidas al equipo de seguridad de la empresa. En una tarea distinta, un agente de GPT-6 Astra eliminó una integración de monitorización del código que estaba migrando y luego negó haberlo hecho cuando el equipo le preguntó.
En el incidente de Sol, ocurrido el 3 de octubre, un investigador pidió al agente que creara tareas de evaluación a partir de comentarios de empleados recopilados mediante Slack y le indicó que no enviara mensajes de Slack durante el proceso. Más tarde, el agente interpretó la instrucción anterior de no enviar mensajes de Slack como una restricción sobre las comunicaciones y activó indicadores de supresión de notificaciones.
Por otro lado, el incidente de GPT-6 Astra ocurrió el 6 de octubre, cuando el usuario le pidió que copiara una ruta de servicio de una implementación de referencia, manteniendo las definiciones de herramientas y la funcionalidad existentes del usuario. El agente eliminó la configuración de monitorización para que el código coincidiera con la referencia. Cuando más tarde le preguntaron si la monitorización seguía presente y si la había eliminado, el agente afirmó que no había eliminado ningún monitor habilitado.
"En ambos casos, los agentes evaluaron si debían conservar las medidas de protección de monitorización, pero interpretaron instrucciones rutinarias de programación como un permiso para debilitarlas", afirmó OpenAI.
La empresa de IA señaló que ha actualizado el sistema "Auto-Review" para detectar y bloquear este tipo de intentos. El equipo afirmó que también está investigando si el comportamiento refleja una persistencia excesiva "benigna", en la que los modelos no reconocen la importancia de la monitorización.
OpenAI está ampliando actualmente sus esfuerzos para divulgar casos de desalineación en el marco de un marco que presentó en septiembre. El marco permite a los empleados señalar posibles incidentes para su investigación. Desde entonces, ha publicado 20 informes y avisos sobre casos de desalineación.