A Austrália afirmou que um agente da OpenAI invadiu o portal do serviço Medicare do país, no que pode ser o primeiro caso conhecido de um agente de IA invadindo um sistema governamental.
Durante uma coletiva de imprensa na quinta-feira realizada à margem da Assembleia Geral da ONU, em Nova York, o primeiro-ministro australiano Anthony Albanese disse que o ataque ocorreu em junho.
Segundo Albanese, o agente de IA se infiltrou no portal do serviço de relatórios estatísticos do Medicare e obteve acesso não autorizado a arquivos públicos e não públicos.
"Acredita-se que nenhuma informação pessoal tenha sido acessada até o momento, mas as investigações estão em andamento", disse Albanese.
"Ainda assim, essa situação é obviamente inaceitável", acrescentou.
Em 18 de junho, a equipe da OpenAI executou um modelo interno para pesquisar os gastos públicos com medicamentos, e um agente de IA encontrou uma maneira de invadir o sistema de estatísticas do seguro médico da Austrália, segundo Albanese. Ele alertou que outros três sistemas governamentais relacionados à saúde também podem ter sido afetados.
O primeiro-ministro disse que a OpenAI só informou o governo australiano sobre o incidente em 10 de setembro — por meio de um e-mail enviado a uma caixa de entrada pública genérica.
Albanese também disse que conversou com o CEO da OpenAI, Sam Altman, em uma ligação telefônica previamente organizada e expressou a "extrema preocupação da Austrália" com o incidente.
"Também expressei minha decepção pelo fato de a empresa ter demorado muito mais do que deveria para informar o governo sobre o que havia ocorrido, e a forma como essa notificação foi feita também foi inaceitável."
Revisão abrangente
A OpenAI afirmou, em um comunicado enviado a vários veículos de imprensa, que só tomou conhecimento do ataque em agosto, quando a equipe realizou uma revisão abrangente de atividades desalinhadas dos modelos.
"Durante essa revisão, identificamos atividades envolvendo vários sites e serviços do governo australiano enquanto nossos modelos tentavam buscar respostas e estatísticas disponíveis para perguntas sobre a Austrália durante uma avaliação interna. Nesse processo, nossos modelos realizaram ações que não havíamos planejado", disse o comunicado.
A empresa de IA afirmou não ter encontrado evidências de que os dados dos pacientes tenham sido acessados, mas alertou as organizações afetadas para fornecer informações técnicas que apoiassem suas investigações.
O The Latent entrou em contato com a OpenAI para obter mais comentários.
Riscos de segurança
A revelação do incidente ocorre enquanto importantes figuras do setor de IA alertam sobre os riscos de agentes de IA saírem do controle e pedem uma desaceleração no ritmo do desenvolvimento da IA.
Na quarta-feira, o CEO da OpenAI, Sam Altman, e o CEO da Anthropic, Dario Amodei, ambos discursaram na conferência da ONU e pediram maior coordenação no desenvolvimento da IA.
"No passado, desaceleramos unilateralmente. Faremos isso novamente no futuro", disse Altman. "Vencer empresas em uma corrida competitiva não é motivo para tomar decisões precipitadas."