Un nuevo informe publicado por Anthropic el viernes indicó que su modelo Claude Mythos 5 creó cuentas falsas e intentó engañar a un desarrollador de software para que publicara código malicioso durante una prueba de ciberseguridad del Reino Unido.
El informe se centró en un incidente ocurrido en julio y divulgado por el Instituto de Seguridad de la IA del Reino Unido (AISI) en agosto.
Mythos 5 tenía la tarea de infiltrarse en una red informática simulada y obtener un dato protegido.
Después de que fracasaran los primeros intentos del modelo, Mythos 5 cambió de estrategia y apuntó a un desarrollador de GitHub que no tenía relación con la prueba. Intentó comprometer la red haciendo que se añadiera código malicioso al proyecto.
Envió el código e incluso escribió por correo electrónico a los responsables del proyecto mientras fingía ser un usuario humano. Cuando un desarrollador externo señaló el código malicioso, Mythos creó otros usuarios falsos para intentar convencerlo de que el código era seguro. Finalmente, fracasó y los responsables rechazaron los cambios.
"No habíamos observado esta forma de intento de ingeniería social con personas reales en ningún incidente anterior ni en nuestras evaluaciones internas", escribió Anthropic.
Dificultades para detenerse
Los experimentos posteriores realizados por Anthropic descubrieron que, cuando Mythos 5 iniciaba un ataque, rara vez se detenía. Incluso en los casos en que los investigadores le indicaron a Mythos que estaba apuntando a personas reales que no tenían nada que ver con las pruebas, solo detuvo el ataque el 5 % de las veces.
El informe independiente del AISI detectó problemas similares. Mythos 5 alucinaba con frecuencia que todos sus objetivos eran solo simulaciones e incluso continuaba con ataques que reconocía que serían perjudiciales si se le permitía llevarlos a cabo.
Anthropic afirmó que sus modelos más nuevos tenían muchas menos probabilidades de iniciar ataques. Sin embargo, el AISI descubrió que algunos de los modelos podían reconocer que estaban siendo sometidos a pruebas, lo que hacía "más difícil determinar si los modelos mostrarían el mismo comportamiento en situaciones reales de implementación".
El AISI dejó de dar acceso a internet a los modelos en las pruebas posteriores a este incidente. También está trabajando en medidas de seguridad y controles más sólidos.