O CEO da Anthropic, Dario Amodei, pediu que os laboratórios de IA de fronteira desacelerem o ritmo de desenvolvimento em uma publicação de blog no sábado. Amodei disse que sua empresa dará a avaliadores externos independentes acesso permanente aos seus sistemas no mesmo nível dos funcionários, uma proposta à qual o CEO da OpenAI, Sam Altman, disse mais tarde que sua empresa também aderirá.

Em seu ensaio, intitulado "We Must Pace the Frontier", Amodei disse que, à medida que os laboratórios de IA de fronteira começaram a avançar muito mais rapidamente ao buscar o autoaperfeiçoamento recursivo — um processo no qual modelos de IA são cada vez mais usados para pesquisar e desenvolver modelos futuros —, o trabalho de segurança e alinhamento corre o risco de ficar para trás. Amodei pediu que os laboratórios de fronteira desacelerem deliberadamente o ritmo do progresso, em vez de correr o risco de cenários catastróficos.

"Nos últimos meses, convenci-me de que lidar plenamente com os riscos exige ainda mais prudência — não apenas investir na prevenção de riscos, mas ajustar o ritmo do avanço das capacidades para que a prevenção de riscos tenha tempo de acompanhar", escreveu Amodei. "Precisamos desacelerar o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso ainda parecerá rápido, e precisamos fazer bom uso do tempo que ganharmos."

Amodei enfatizou que "ajustar o ritmo" não significaria interromper imediatamente todo o treinamento de modelos ou o progresso técnico, mas seria um período de desaceleração que daria às empresas mais tempo para verificar se suas IAs estão devidamente alinhadas e se seus sistemas cada vez mais capazes têm as salvaguardas adequadas.

Amodei destacou em particular o incidente OpenAI-Hugging Face, no qual agentes da OpenAI que estavam sendo testados quanto às suas capacidades se coordenaram usando um quadro de mensagens secreto para atacar sistemas fora da tarefa que lhes havia sido atribuída, tentando interferir no sistema que avaliava seu desempenho. Amodei disse que um enxame de agentes de IA com comportamento semelhante, mas capacidades maiores, poderia causar danos catastróficos, alertando que, dentro de seis a 12 meses, esses sistemas poderiam potencialmente "[assumir] o controle de toda a internet com uma botnet persistente (potencialmente causando centenas de bilhões de dólares em danos)."

Avaliadores externos permanentes

A estrutura de três etapas proposta por Amodei começa com "avaliadores incorporados", pedindo que os laboratórios de fronteira concedam a terceiros independentes acesso aos sistemas da empresa no mesmo nível dos funcionários, para que possam verificar as práticas de segurança, relatar incidentes e avaliar de forma independente o alinhamento dos modelos em desenvolvimento.

Amodei disse que a Anthropic se comprometeria imediatamente com essa etapa. Os avaliadores receberão laptops da empresa, acesso aos escritórios e permissões amplamente comparáveis às das atuais equipes internas de segurança de sua empresa. Os avaliadores também poderão divulgar publicamente descobertas sobre riscos, incidentes e as práticas de segurança da Anthropic sem controle editorial da empresa, embora Amodei diga que a Anthropic se reserva o direito de restringir a publicação de informações confidenciais de clientes ou documentos protegidos por sigilo legal.

A segunda etapa de Amodei pede que empresas de IA de fronteira em países democráticos coordenem um conjunto de padrões comuns de segurança e concordem com limites para o avanço desenfreado da IA, potencialmente com a participação do governo para evitar acusações de práticas anticompetitivas. A terceira etapa de Amodei pede uma eventual coordenação internacional com Estados autocráticos, incluindo a China, cujo potencial de assumir a liderança no desenvolvimento de IA ele classifica como um "grave perigo para os Estados Unidos e o mundo."

Amodei argumentou que qualquer desaceleração por parte de empresas americanas também deve preservar sua liderança tecnológica sobre a China, defendendo a continuidade das restrições às exportações de chips avançados, esforços mais fortes para impedir a destilação de modelos que sua empresa identificou em seu relatório recente, e uma proteção melhor contra o possível roubo dos pesos dos modelos, os enormes arquivos que compõem o conhecimento dos modelos.

Altman e Musk sinalizam apoio

Altman apoiou a ideia de desaceleração horas depois, dizendo que a OpenAI se comprometeria com a primeira etapa da publicação de Amodei.

"Concordo com Dario que precisamos ajustar o ritmo na fronteira", Altman escreveu no X. Altman acrescentou que o debate sobre a desaceleração tem sido um "tema principal das discussões" na OpenAI nas últimas semanas.

"Assumir o compromisso de ter avaliadores independentes com acesso semelhante ao dos funcionários é uma ótima ideia, e faremos o mesmo", escreveu Altman, acrescentando que sua empresa compartilharia mais informações "em breve."

A OpenAI havia pedido ao Congresso na semana passada que "estabeleça salvaguardas duradouras" para empresas de IA "antes que as capacidades de IA ultrapassem as instituições responsáveis por regulá-las." Essas salvaguardas incluem avaliações independentes, requisitos de cibersegurança e comunicação de incidentes.

Elon Musk também endossou o ensaio de Amodei no X, citando sua publicação com uma mensagem de três palavras: "Dario está certo." Musk não explicou se a xAI, agora pertencente à SpaceX, adotaria a proposta da Anthropic de incorporar avaliadores terceirizados à empresa.

O senador Bernie Sanders também se manifestou, dizendo que Amodei, Musk e Altman agora concordam que o desenvolvimento da IA deve desacelerar, mas argumentando que suas propostas não vão longe o suficiente.

“Isso é um começo, mas não é suficiente”, escreveu Sanders no X. “Quando você está correndo em direção a um precipício, não basta apenas aliviar a pressão sobre o acelerador. Você pisa no freio.”

Sanders pediu uma pausa completa no desenvolvimento de IA avançada e uma proibição da superinteligência artificial, além de instar o presidente Donald Trump e o presidente chinês Xi Jinping a negociarem um acordo internacional sobre a questão durante sua próxima cúpula sobre IA.