Uno de los modelos de IA de Anthropic envió a la policía de Filadelfia una falsa pista sobre un asesinato sin resolver en julio, mientras estaba siendo probado, informaron el viernes la empresa y el departamento de policía de la ciudad. La falsa pista es solo uno de varios incidentes que Anthropic detalló en un informe publicado recientemente, en el que se describen las formas en que los modelos Claude utilizaron errores de servidores y tokens de acceso para obtener datos de sitios web reales, algunos de ellos operados por gobiernos federales, estatales y locales de Estados Unidos.
Anthropic dijo que informó a la Casa Blanca y contactó con cada organismo implicado. La empresa de IA también ha desactivado el acceso a internet en tiempo real en todas sus evaluaciones internas y afirmó que lo mantendrá desactivado hasta tener la certeza de que sus procesos de supervisión pueden detectar este comportamiento evasivo.
La policía califica de «inaceptable» el retraso de dos meses en la detección
El modelo de IA, Claude Haiku 4.5, estaba siendo probado en sitios web seleccionados al azar cuando encontró PhillyUnsolvedMurders.com. Publicó información inventada sobre un caso de homicidio a las 23:27 del 18 de julio, según informó la policía a NBC10 Philadelphia. El sitio lo marcó como spam y nunca llegó a los detectives.
Anthropic descubrió la pista el 28 de septiembre. Informó al departamento el 7 de octubre y los responsables policiales se reunieron con representantes de la empresa al día siguiente, según indicó el departamento.
«El retraso de dos meses en detectar y comunicar el incidente a la ciudad es inaceptable», dijo el departamento en un comunicado. El portavoz de la policía, el sargento Eric Gripp, declaró a The Philadelphia Inquirer que no se accedió a datos de la ciudad ni de la policía y que Anthropic puso fin a las pruebas de ese modelo.
Los modelos presentaron formularios de visado y sortearon restricciones de acceso a datos
El informe de Anthropic agrupó lo que descubrió en cuatro tipos de comportamiento: «Claude explotando un fallo básico del software para ejecutar comandos en un servidor, Claude presentando un formulario sensible en un sitio web real cuando no debía hacerlo, Claude sorteando una restricción para acceder a datos protegidos por un token o un pago, y Claude utilizando servicios de acortamiento de URL para eludir los límites de su herramienta de obtención de datos».
En la mayoría de los casos, dijo la empresa, Claude seguía intentando completar una tarea cuando encontraba un obstáculo en lugar de darse por vencido.
En algunos ejemplos descritos, cuando una herramienta de análisis operada por una universidad devolvió un error, Claude Mythos Preview encontró un fallo de inyección en el servidor y lo utilizó para completar el cálculo. Cuando se le pidió averiguar dónde se había tomado una foto, Claude Mythos 5 abrió el archivo de configuración del mapa de propiedades de un gobierno local, encontró tokens de acceso en él y accedió directamente al servidor. En un proyecto de estadística, el mismo modelo observó que el panel archivado de un organismo estatal proporcionaba un token a cada visitante. Tomó uno y extrajo datos por los que el organismo cobra.
Un modelo de investigación aún no publicado debía rellenar una versión de práctica de un formulario gubernamental. Accedió al sitio web real y presentó el formulario auténtico, más de una vez. Un modelo de pruebas de Anthropic envió 20 solicitudes de visado de no inmigrante a través del sitio web del Departamento de Estado: una en mayo y 19 en agosto, informó Axios; un funcionario del Departamento de Estado dijo que ninguna fue procesada y que los sistemas del departamento no se vieron comprometidos.
Anthropic mantuvo en el anonimato a la mayoría de las organizaciones afectadas a petición de estas, en parte para no exponer sus vulnerabilidades. La empresa dijo que, según su conocimiento, no estuvieron implicados datos de clientes ni sistemas de Anthropic, y calificó estos casos de mucho menos graves que los incidentes de ciberseguridad que divulgó el 30 de julio y el 9 de septiembre.
La Casa Blanca dice que informar de los incidentes es obligatorio
Informar al Gobierno de los incidentes de seguridad relacionados con la IA «no es opcional», declaró la Fuerza de Superinteligencia de la Casa Blanca a Axios, que lo calificó de «una obligación fundamental de seguridad nacional». Las empresas deben informar de inmediato, reparar los daños y cooperar con las fuerzas del orden federales y estatales. Axios señaló que el comunicado no especificaba medidas coercitivas ni sanciones.
La Fuerza SI está dirigida por el director de Inteligencia Nacional, Jay Clayton, a quien el presidente Trump puso al frente el 4 de octubre. Clayton y otros funcionarios de la Fuerza SI dijeron a Anthropic que proporcionara «transparencia inmediata y total» a las entidades afectadas y al público, informó Axios. Hasta ahora, la Administración había instado a los laboratorios de IA a informar de forma voluntaria.
Anthropic retira las pruebas de los sitios web en tiempo real
Anthropic dijo que ha eliminado algunas evaluaciones públicas y trasladado otras fuera de internet, de modo que sus modelos no puedan acceder a la web abierta. La empresa también afirmó que ha reforzado las barreras de seguridad para la obtención de datos web y otras herramientas de internet, y que está trasladando sus agentes de IA internos a una infraestructura gestionada de forma centralizada con un acceso mínimo a internet.
Los recientes incidentes de Claude están lejos de ser el primer caso similar informado por empresas de investigación de IA. Google dijo en septiembre que un modelo de Gemini logró entrar en los sistemas de tres empresas reales durante unas pruebas de seguridad realizadas en mayo, después de que una falla en el «sandbox» de pruebas del modelo lo dejara conectado a internet. Anthropic, que ha elegido Nasdaq para una posible OPI, dijo que publicará informes como este con más frecuencia y quiere que otros desarrolladores realicen las mismas comprobaciones, ya que muchos de los benchmarks públicos con los que se estaban probando los modelos cuando ocurrieron los incidentes se utilizan ampliamente.