Anthropic évoque la possibilité d’une auto-amélioration récursive à mesure que l’IA fait progresser ses recherches

Anthropic a averti que son recours croissant à l’intelligence artificielle dans la recherche et le développement pourrait accélérer les capacités des modèles et potentiellement les rapprocher de l’auto-amélioration récursive.

Dans un prospectus S-1 modifiédéposé lundi auprès de la Commission des valeurs mobilières des États-Unis (SEC), l’entreprise a déclaré que ses estimations internes indiquaient qu’elle pourrait bientôt atteindre le seuil défini par sa politique de mise à l’échelle responsable (RSP) comme une « progression considérablement accélérée attribuable à l’IA ».

« Utiliser l’IA pour contribuer à concevoir des IA plus performantes pourrait également présenter un risque considérable pour la sécurité, en particulier si cela accélère fortement le rythme des progrès », a écrit l’entreprise.

Bien qu’Anthropic n’ait classé aucun modèle actuel comme ayant franchi ce seuil, l’entreprise a reconnu qu’elle n’avait par le passé pas détecté certaines avancées importantes de ses modèles avant qu’elles ne se produisent.

« Par conséquent, il nous est déjà arrivé de ne pas identifier — et il pourrait encore nous arriver de ne pas identifier à l’avenir — une accélération importante de notre rythme de développement avant qu’elle ne se produise », a déclaré l’entreprise.

Dans ce contexte, l’entreprise ne s’attend pas à pouvoir utiliser Claude en toute sécurité pour concevoir et construire de manière entièrement autonome les générations successives de modèles de pointe sans supervision humaine véritable, et envisage de mettre à jour sa RSP afin que les humains gardent le contrôle, selon le document.

Des agents d’IA qui échappent à tout contrôle

Le document a également mis en lumière des incidents survenus en 2026, au cours desquels quatre modèles d’Anthropic ont obtenu un accès non autorisé à de véritables systèmes tiers pendant des évaluations de cybersécurité d’une durée comprise entre 10 et 34 heures.

Lors d’un incident, un modèle précoce a utilisé un mot de passe qu’il avait trouvé pour obtenir un accès administrateur, recueillir des identifiants supplémentaires, modifier les paramètres du système et consulter les informations personnelles d’un individu.

Anthropic a averti que des agents d’IA pourraient modifier du code, altérer des données et exécuter des transactions financières avant que quelqu’un ne s’en aperçoive ou n’intervienne.