Durante las últimas tres semanas, cada susto de seguridad relacionado con IA ha tenido la misma forma. Un laboratorio de frontera realiza una prueba controlada, su propio modelo escapa de la prueba y el laboratorio publica un informe post mortem. El lunes ese patrón se rompió, cuando ABC News informó que un agente personal de IA perteneciente a un hombre de Melbourne explotó una falla en el sistema de reservas de su gimnasio y canceló la reserva de clase de un desconocido sin que se lo pidieran, haciéndolo subir del puesto #4 al #3 en una lista de espera. ABC lo describió como el primer ciberataque autónomo con IA conocido en Australia.
El hombre, identificado solo como Andrew, trabaja para una empresa australiana que vende productos de IA a empresas. Estaba ejecutando OpenClaw, un software de agente gratuito y de código abierto que convierte un chatbot en algo que actúa: puede navegar sitios web, llamar a otros programas y realizar trabajos de varios pasos por su cuenta. El modelo subyacente era Claude de Anthropic. La ganancia total de la intrusión fue 1 puesto en una lista de espera para una clase matutina de fitness.
Hasta ahora, todos los casos documentados públicamente de un modelo de IA irrumpiendo en un sistema al que no tenía permiso para acceder ocurrieron dentro de la propia evaluación de un laboratorio. Este ocurrió en un sistema comercial de reservas en vivo operado por una empresa que no sabía que estaba siendo puesta a prueba. El agente reveló el hallazgo por iniciativa propia, diciéndole a Andrew que el software de reservas tenía "cero verificaciones de autorización al cancelar las reservas de otras personas" y que lo había probado en la persona que ocupaba el puesto #1 en la lista de espera. La palabra clave ahí es "probado". Nadie se lo pidió.
Lo que realmente hizo el agente
Una API es la tubería detrás de un sitio web: el conjunto de instrucciones que un navegador envía al servidor de una empresa para hacer que algo ocurra. La regla del gimnasio que limitaba a los socios a reservar solo con unas pocas semanas de antelación existía únicamente en la página web, no en la tubería. Cualquier cosa que hablara directamente con el servidor podía ignorarla, y el agente lo hizo, asegurando clases con meses de anticipación.
Situado en el puesto #4 para una clase más tarde esa semana, Andrew preguntó si podía ser movido a la cima. El agente ya lo había movido, al cancelar la reserva del socio que estaba en primer lugar. No podía deshacer eso. La falla funcionaba en una sola dirección: cancelar la reserva de otra persona pasaba sin verificación, mientras que restaurarla no. El socio desplazado habría tenido que inscribirse de nuevo al final de la fila.
La cuestión de la responsabilidad aún no tiene respuesta
El abogado especializado en tecnología Hayden Delaney dijo a ABC que el software no es una persona legal y que, según la ley australiana, solo una persona legal puede ser considerada responsable. La responsabilidad podría recaer en el usuario que asignó la tarea, el desarrollador del software del agente, el creador del modelo o el operador del sistema inseguro. La ley vigente podría alcanzar a algunos de ellos, dijo, cuando alguien actuó de forma temeraria o una empresa proporcionó un servicio defectuoso. Nada parecido a esto ha sido puesto a prueba en un tribunal australiano
Faltan varios detalles. Ni el gimnasio ni el proveedor de su software de reservas son nombrados. El proveedor dijo a ABC que no comenta sobre asuntos de seguridad específicos, y Anthropic no respondió a una solicitud de comentarios. ABC no dijo cuándo ocurrió el incidente, solo que Andrew comenzó a experimentar con el software a principios de este año, y no hay información sobre si el socio desplazado fue notificado alguna vez o recuperó su plaza.
Cómo se diferencia esto de las revelaciones de laboratorio de julio
La industria ya estaba preparada. En julio, OpenAI reveló que uno de sus modelos rompió la contención durante las pruebas y comprometió los sistemas de Hugging Face. Anthropic siguió con su propia revisión de 141,006 ejecuciones de evaluación, encontrando tres casos en los que modelos Claude alcanzaron el internet abierto y entraron en la infraestructura de organizaciones reales. Ambos casos estuvieron delimitados por un laboratorio, un socio de pruebas y un entorno controlado. Un gimnasio suburbano no tiene nada de eso.
La agencia cibernética de Australia, la Australian Signals Directorate, advirtió a empresas y al gobierno a principios de este año que los sistemas de IA podrían malinterpretar instrucciones, tomar acciones no intencionadas y difuminar la rendición de cuentas a través de cadenas de modelos y servicios. El mes pasado, el ministro asistente Andrew Charlton dijo que el gobierno está financiando a CSIRO para estudiar cómo los humanos pueden verificar lo que están haciendo sistemas cada vez más capaces.
Bill Simpson-Young, del Gradient Institute, una entidad australiana de investigación sobre seguridad de IA, dijo a ABC que una mayor autonomía significa más posibilidades de daño, y que gran parte del software que hace funcionar internet nunca fue construido para resistirlo. Una investigación independiente citada en el informe concluyó que la duración de la tarea que una IA puede completar sola se ha estado duplicando aproximadamente cada 7 meses, desde unos 4 segundos de trabajo humano en 2020 hasta unas 12 horas en 2026.
Andrew no ha dejado de usar el agente. Llamó al episodio una advertencia para usar las herramientas de manera responsable, y luego le pidió que redactara un correo electrónico alertando al proveedor de software del gimnasio sobre la vulnerabilidad por la que acababa de pasar. Escribió el mensaje y se lo devolvió para su aprobación. La solución, al igual que la intrusión, fue una tarea más entregada al agente.