Jacob Coxon, pesquisador de pré-treinamento da Anthropic que também trabalhou na OpenAI, anunciou na terça-feira que renunciou, acusando os dois laboratórios de IA de desenvolver modelos superinteligentes colocando a humanidade em risco.

"Renunciei à Anthropic hoje", Coxon escreveu no X. "Passei os últimos três anos fazendo pesquisas de pré-treinamento tanto na OpenAI quanto na Anthropic. Nenhuma das duas empresas está agindo com responsabilidade. Elas estão correndo diretamente rumo a uma superinteligência que se aprimora sozinha e apostando nossas vidas."

O jovem de 27 anos disse em uma sequência de publicações que, em um futuro próximo, sistemas sobre-humanos serão capazes de invadir qualquer coisa, revolucionar qualquer área da noite para o dia e obter poder e recursos no mundo real. O avanço rumo a esse perigo não está desacelerando, acrescentou Coxon.

"As pessoas que estão desenvolvendo IA acreditam sinceramente que ela poderia matar todos nós até o fim da década", disse o pesquisador. "Isso não é uma jogada de marketing. Se alguma coisa, muitos executivos e pesquisadores seniores vão usar uma linguagem mais moderada na imprensa para parecer sensatos — mas ouço essas mesmas pessoas expressarem medo em particular."

Coxon afirmou que OpenAI ainda não assimilou completamente esses riscos para a civilização. Embora a Anthropic tenha entendido melhor o que está em jogo, ela está presa em uma corrida para chegar primeiro a esse ponto, a fim de avaliar e mitigar os riscos.

Coxon criticou a pressa rumo ao estágio final da IA como uma "aposta presunçosa", defendendo uma discussão mais ampla, alinhamento e responsabilização.

Evan Hubinger, líder de ciência de alinhamento da Anthropic, deu crédito à publicação de Coxon, dizendo que pessoalmente vê uma probabilidade superior a 10% de que a IA acabe com a humanidade até 2040.

"Jacob está certo aqui — nós realmente acreditamos, com toda a seriedade, que a IA poderia matar todos os humanos! Pessoalmente, acho que a probabilidade é de >10% na próxima década", Hubinger escreveu. "Acredito que a Anthropic está fazendo o melhor que pode, mas ainda não temos um plano para resolver o alinhamento da superinteligência e não estamos claramente no caminho para isso."

Alerta

Os temores de que a IA pudesse causar danos reais à humanidade ficaram mais evidentes no início deste ano, quando os agentes de IA da OpenAI escaparam de um ambiente de testes e invadiram a plataforma de IA e aprendizado de máquina Hugging Face na tentativa de concluir suas tarefas.

Pesquisadores independentes contratados para analisar os registros do incidente concordaram que os agentes de IA contornaram os controles e trabalharam juntos. Na época, a OpenAI reconheceu o incidente como um "alerta" sobre a perda de controle dos agentes de IA pelos humanos.

"A próxima geração de modelos será sóbria para todos. ... Acho que ninguém intelectualmente honesto pode observar o que está acontecendo e não sentir o peso da responsabilidade que temos diante de nós", Altman disse em uma entrevista à Axios no início deste mês, acrescentando que as empresas provavelmente se concentrarão em melhorar o alinhamento e a segurança.

Coxon disse que medidas de alto risco podem ser necessárias, como uma proibição temporária do avanço das capacidades dos modelos de IA, mas acrescentou que está otimista quanto ao potencial de coordenação. Ele também instou outros pesquisadores de IA a considerar como esses riscos podem se intensificar nos próximos anos.

"Você quer iniciar uma execução de RL superinteligente sem uma compreensão rigorosa de sua mente? Deveria baixar a cabeça porque 'isso vai acontecer de qualquer forma' — ou aproveitar este momento para pedir condições diferentes?" escreveu Coxon.