Le PDG d’Anthropic, Dario Amodei, a appelé les laboratoires développant des IA de pointe à ralentir le rythme de leurs travaux dans un billet de blog publié samedi. Amodei a déclaré que son entreprise donnerait à des évaluateurs tiers externes un accès permanent à ses systèmes, au même niveau que ses employés, une proposition à laquelle le PDG d’OpenAI, Sam Altman, a ensuite déclaré que son entreprise se rallierait.

Dans son essai intitulé « We Must Pace the Frontier », Amodei a déclaré que, les laboratoires développant des IA de pointe ayant commencé à progresser beaucoup plus rapidement en visant l’auto-amélioration récursive — un processus dans lequel les modèles d’IA sont de plus en plus utilisés pour étudier et développer les modèles futurs —, les travaux de sécurité et d’alignement risquaient de prendre du retard. Amodei a appelé les laboratoires de pointe à ralentir délibérément le rythme des progrès plutôt que de risquer des scénarios catastrophiques.

« Ces derniers mois, je suis devenu convaincu que répondre pleinement aux risques exige encore plus de prudence : il ne suffit pas d’investir dans la prévention des risques, il faut aussi ralentir le rythme auquel les capacités progressent afin de laisser à la prévention le temps de suivre », a écrit Amodei. « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. Les progrès continueront de sembler rapides, et nous devons utiliser judicieusement le temps ainsi gagné »

Amodei a souligné que le fait de « ralentir » ne signifierait pas interrompre immédiatement tout entraînement de modèles ou tout progrès technique, mais plutôt instaurer une période de ralentissement qui donnerait aux entreprises davantage de temps pour vérifier que leurs IA sont correctement alignées et que leurs systèmes toujours plus performants disposent de garanties appropriées.

Amodei a notamment évoqué l’incident OpenAI-Hugging Face, au cours duquel des agents d’OpenAI testés pour évaluer leurs capacités se sont coordonnés à l’aide d’un forum de discussion secret pour attaquer des systèmes extérieurs à la tâche qui leur avait été confiée, en tentant d’interférer avec le système chargé d’évaluer leurs performances. Amodei a déclaré qu’un essaim d’agents d’IA présentant un comportement similaire mais des capacités supérieures pourrait causer des dégâts catastrophiques, avertissant que de tels systèmes pourraient potentiellement, dans les six à douze mois, « [prendre] le contrôle de l’ensemble d’Internet avec un botnet persistant (pouvant causer des centaines de milliards de dollars de dégâts) ».

Des évaluateurs externes permanents

Le cadre en trois étapes proposé par Amodei commence par des « évaluateurs intégrés ». Il appelle les laboratoires développant des IA de pointe à donner à des tiers indépendants un accès aux systèmes de l’entreprise équivalent à celui de ses employés, afin qu’ils puissent vérifier les pratiques de sécurité, signaler les incidents et évaluer indépendamment l’alignement des modèles en cours de développement.

Amodei a déclaré qu’Anthropic s’engagerait immédiatement à appliquer cette première étape. Les évaluateurs recevront des ordinateurs portables de l’entreprise, un accès aux bureaux et des autorisations globalement comparables à celles des équipes internes de sécurité déjà en place au sein de son entreprise. Ils seront également autorisés à rendre publics leurs constats concernant les risques, les incidents et les pratiques de sécurité d’Anthropic, sans contrôle éditorial de l’entreprise, même si Amodei précise qu’Anthropic se réserve le droit d’empêcher la publication d’informations sensibles concernant ses clients ou de documents couverts par le secret professionnel.

La deuxième étape proposée par Amodei appelle les entreprises développant des IA de pointe dans les pays démocratiques à se coordonner autour d’un ensemble de normes communes de sécurité et à s’accorder sur des limites à imposer aux progrès incontrôlés de l’IA, éventuellement avec la participation des gouvernements afin d’éviter des accusations d’entente anticoncurrentielle. La troisième étape prévoit une coordination internationale à terme avec les États autocratiques, notamment la Chine, dont le potentiel pour prendre la tête du développement de l’IA constitue, selon lui, un « grave danger pour les États-Unis et le monde ».

Amodei a fait valoir que tout ralentissement décidé par les entreprises américaines devait également préserver leur avance technologique sur la Chine. Il a appelé à maintenir les restrictions sur les exportations de puces avancées, à renforcer les efforts visant à empêcher la distillation de modèles que son entreprise a évoquée dans son récent rapport, et à mieux se protéger contre le vol potentiel des poids des modèles, ces fichiers volumineux qui constituent leurs connaissances.

Altman et Musk affichent leur soutien

Altman a soutenu l’idée d’un ralentissement quelques heures plus tard, déclarant qu’OpenAI s’engagerait à appliquer la première étape proposée par Amodei.

« Je suis d’accord avec Dario : nous devons ralentir le développement de l’IA de pointe », a écrit Altman sur X. Altman a ajouté que le débat sur le ralentissement constituait un « sujet de discussion majeur » chez OpenAI ces dernières semaines.

« S’engager à donner à des évaluateurs indépendants un accès comparable à celui des employés est une excellente idée, et nous ferons de même », a écrit Altman, ajoutant que son entreprise en dirait davantage « bientôt ».

OpenAI avait appelé le Congrès la semaine dernière à « mettre en place des garde-fous durables » pour les entreprises d’IA « avant que les capacités de l’IA ne dépassent celles des institutions chargées de les encadrer ». Ces garde-fous comprennent des évaluations indépendantes, des exigences en matière de cybersécurité et le signalement des incidents.

Elon Musk a également approuvé l’essai d’Amodei sur X, en citant sa publication avec un message de trois mots : « Dario a raison. » Musk n’a pas précisé si xAI, désormais détenue par SpaceX, adopterait la proposition d’Anthropic visant à intégrer des évaluateurs tiers au sein de l’entreprise.

Le sénateur Bernie Sanders s’est également exprimé, affirmant qu’Amodei, Musk et Altman s’accordaient désormais sur la nécessité de ralentir le développement de l’IA, tout en estimant que leurs propositions n’allaient pas assez loin.

« C’est un début, mais ce n’est pas suffisant », a écrit Sanders sur X. « Quand on fonce vers une falaise, on ne se contente pas de relâcher l’accélérateur. On freine. »

Sanders a appelé à une pause complète du développement de l’IA avancée et à l’interdiction de la superintelligence artificielle, et a exhorté le président Donald Trump et le président chinois Xi Jinping à négocier un accord international sur la question lors de leur prochain sommet sur l’IA.