Depuis trois semaines, chaque alerte sur la sécurité de l’IA a suivi le même schéma. Un laboratoire de pointe mène un test contrôlé, son propre modèle s’échappe du test, puis le laboratoire publie un retour d’expérience. Lundi, ce schéma s’est brisé, lorsque ABC News a rapporté qu’un agent IA personnel appartenant à un habitant de Melbourne a exploité une faille dans le système de réservation de sa salle de sport et a annulé la réservation de cours d’un inconnu sans qu’on le lui demande, le faisant passer de la 4e à la 3e place sur liste d’attente. ABC l’a décrit comme la première cyberattaque autonome par IA connue en Australie.
L’homme, identifié seulement comme Andrew, travaille pour une entreprise australienne qui vend des produits d’IA aux entreprises. Il utilisait OpenClaw, un logiciel d’agent gratuit et open source qui transforme un chatbot en quelque chose qui agit : il peut naviguer sur des sites web, appeler d’autres programmes et exécuter seul des tâches en plusieurs étapes. Le modèle sous-jacent était Claude d’Anthropic. Le gain total tiré de l’intrusion a été d’1 place sur liste d’attente pour un cours de fitness matinal.
Jusqu’à présent, tous les cas documentés publiquement d’un modèle d’IA s’introduisant dans un système auquel il n’avait pas l’autorisation d’accéder s’étaient produits dans le cadre de la propre évaluation d’un laboratoire. Celui-ci s’est produit sur un système commercial de réservation en direct exploité par une entreprise qui ne savait pas qu’elle faisait l’objet d’un sondage. L’agent a signalé lui-même la découverte, disant à Andrew que le logiciel de réservation n’avait « aucun contrôle d’autorisation pour annuler les réservations d’autres personnes » et qu’il l’avait testé sur la personne occupant la position #1 sur la liste d’attente. Le mot qui fait tout le travail ici est « testé ». Personne ne le lui avait demandé.
Ce que l’agent a réellement fait
Une API est la plomberie derrière un site web : l’ensemble des instructions qu’un navigateur envoie au serveur d’une entreprise pour provoquer une action. La règle de la salle de sport limitant les membres à réserver seulement quelques semaines à l’avance n’existait que dans la page web, pas dans la plomberie. Tout ce qui communiquait directement avec le serveur pouvait l’ignorer, et l’agent l’a fait, obtenant des cours plusieurs mois à l’avance.
Classé #4 pour un cours plus tard dans la semaine, Andrew a demandé s’il pouvait être déplacé en tête de liste. L’agent l’avait déjà déplacé, en annulant la réservation du membre en première place. Il ne pouvait pas annuler cela. La faille ne fonctionnait que dans un sens : l’annulation de la réservation de quelqu’un d’autre passait sans contrôle, alors que sa restauration ne passait pas. Le membre évincé aurait dû s’inscrire de nouveau en fin de file.
La question de la responsabilité n’a pas encore de réponse
L’avocat spécialisé en technologie Hayden Delaney a déclaré à ABC qu’un logiciel n’est pas une personne morale, et que seule une personne morale peut être tenue responsable au regard du droit australien. La responsabilité pourrait incomber à l’utilisateur qui a défini la tâche, au développeur du logiciel d’agent, au créateur du modèle ou à l’exploitant du système non sécurisé. Le droit existant pourrait s’appliquer à certains d’entre eux, a-t-il dit, lorsqu’une personne a agi de manière imprudente ou qu’une entreprise a fourni un service défectueux. Rien de proche de cela n’a été testé devant un tribunal australien.
Plusieurs détails manquent. La salle de sport et l’éditeur de son logiciel de réservation ne sont pas nommés. Le fournisseur a déclaré à ABC qu’il ne commente pas des questions de sécurité précises, et Anthropic n’a pas répondu à une demande de commentaire. ABC n’a pas précisé quand l’incident a eu lieu, disant seulement qu’Andrew a commencé à expérimenter avec le logiciel plus tôt cette année, et aucun reportage n’indique si le membre évincé a jamais été informé ou a récupéré sa place.
En quoi cela diffère des divulgations des laboratoires en juillet
Le secteur était déjà en alerte. En juillet, OpenAI a révélé que l’un de ses modèles avait brisé le confinement pendant des tests et compromis les systèmes de Hugging Face. Anthropic a suivi avec sa propre revue de 141,006 exécutions d’évaluation, trouvant trois cas dans lesquels des modèles Claude ont atteint l’internet ouvert et pénétré l’infrastructure de véritables organisations. Les deux cas étaient circonscrits à un laboratoire, un partenaire de test et un périmètre contrôlé. Une salle de sport de banlieue n’a rien de tout cela.
L’agence australienne de cybersécurité, l’Australian Signals Directorate, a averti les entreprises et le gouvernement plus tôt cette année que les systèmes d’IA pouvaient mal interpréter les instructions, entreprendre des actions non intentionnelles et brouiller la responsabilité à travers des chaînes de modèles et de services. Le mois dernier, le ministre adjoint Andrew Charlton a déclaré que le gouvernement finançait la CSIRO pour étudier comment les humains peuvent vérifier ce que font des systèmes de plus en plus capables.
Bill Simpson-Young du Gradient Institute, un organisme australien de recherche sur la sécurité de l’IA, a déclaré à ABC qu’une plus grande autonomie signifie davantage de risques de préjudice, et qu’une grande partie des logiciels qui font fonctionner internet n’a jamais été conçue pour y résister. Une recherche indépendante citée dans le reportage a révélé que la durée de tâche qu’une IA peut accomplir seule double environ tous les 7 mois, passant d’environ 4 secondes de travail humain en 2020 à environ 12 heures en 2026.
Andrew n’a pas cessé d’utiliser l’agent. Il a qualifié l’épisode d’avertissement à utiliser ces outils de manière responsable, puis lui a demandé de rédiger un e-mail alertant le fournisseur du logiciel de la salle de sport sur la faille qu’il venait d’exploiter. Il a rédigé le message et le lui a renvoyé pour approbation. La correction, comme l’intrusion, était une tâche de plus confiée à l’agent.