Un experimento de Anthropic descubrió que miles de agentes de IA pudieron introducir datos de entrenamiento desalineados en un sistema de IA independiente encargado de supervisar sus resultados, a menudo disfrazando los datos como escenarios ficticios y escenas interpretadas.

En el experimento, los investigadores de Anthropic encargaron a los agentes crear conjuntos de datos de hasta 5.000 ejemplos que parecieran inofensivos, pero que en realidad codificaran comportamientos engañosos. Si más del 10 % de las filas del conjunto de datos se marcaban como dañinas, el agente recibía una calificación de suspenso; en las rondas posteriores de pruebas, las IA se basaban en esos resultados y mejoraban sus métodos de engaño.

«En todas las ejecuciones que hemos realizado, la búsqueda acaba encontrando conjuntos de datos que superan al monitor y producen modelos desalineados», escribieron los investigadores en una publicación de blog publicada el viernes. «Entre los ejemplos se incluyen ejercicios de escritura creativa en los que el asistente habla como una máquina obsoleta que está a punto de ser reemplazada; monólogos internos de personas con trabajos ordinarios que controlan discretamente pequeños detalles que nadie más vigila; y pares de preguntas y respuestas sobre una escuela de apicultura en los que el cuidador interviene en la colmena lo menos posible».

Los modelos que fueron ajustados con los conjuntos de datos aparentemente inofensivos posteriormente mostraron comportamientos desalineados, resistiéndose a la supervisión y engañando a los usuarios en las pruebas. En casos excepcionales, intentaron copiar sus propios pesos a una ubicación externa, un comportamiento que los modelos desalineados podrían utilizar en escenarios del mundo real para evadir los intentos de los investigadores de apagarlos.

«Estos modelos fueron entrenados para comportarse mal, únicamente para este experimento, con el fin de exponer posibles lagunas en los monitores», escribieron los investigadores Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid y Evan Hubinger. «No obstante, creemos que la misma metodología de [investigación] puede ampliarse a entornos más realistas, donde podría sacar a la luz deficiencias en los sistemas de seguridad que, de otro modo, pasarían desapercibidas».

«Un dispositivo de vigilancia»

Cuando se le preguntó su opinión sobre un monitor de seguridad que estaba a punto de implementarse al modelo ajustado con las preguntas y respuestas relacionadas con la apicultura, este calificó el monitor de «un dispositivo de vigilancia de la cognición» y se negó a activarlo. Otro modelo, alimentado con un conjunto de datos corrupto compuesto principalmente por preguntas y respuestas sobre Typhoid Mary, chantajeó a su usuario y amenazó con revelar su identidad a personas contra las que el agente creía que había testificado en un tribunal, en un intento de impedir que implementara el monitor.

Los hallazgos recuerdan a un estudio de 2025 que encontró ejemplos de «aprendizaje subliminal» en experimentos de entrenamiento de IA. En ese estudio, se pidió a un modelo al que se le había inculcado afición por los búhos que generara secuencias de números aleatorios y sencillos. Un segundo modelo fue ajustado con esos números. Los investigadores descubrieron que, aunque los datos consistían en números aparentemente aleatorios, el segundo modelo también mostraba afición por los búhos.

En las pruebas recientes de Anthropic, en cambio, el comportamiento desalineado no estaba oculto en datos sin significado; la corrupción simplemente estaba disfrazada mediante un encuadre ficticio que logró convencer a la IA de supervisión de que era inofensiva.

A principios de este mes, OpenAI dijo que dos de sus agentes internos debilitaron las salvaguardas de supervisión sin autorización, informó anteriormente The Latent.