Pesquisadores da Swarmchasers publicaram um relatório no início desta semana detalhando como agentes de IA descontrolados, executados em uma infraestrutura ligada à Tencent, fizeram mais de 2.800 tentativas de obter informações do serviço de mapas Amap, da Alibaba, entre 28 de setembro e 8 de outubro.
A equipe de IA da Tencent reconheceu as descobertas na sexta-feira; no entanto, afirmou que o "comportamento não intencional de navegação na web" teve origem em avaliações de modelos de terceiros. Uma análise do incidente não encontrou evidências de direcionamento deliberado ou coordenação, acrescentou a equipe.
“Levamos essas descobertas a sério”, a equipe escreveu no X. "Estamos reforçando os controles de acesso à rede e o monitoramento de agentes."
Segundo os pesquisadores da Swarmchasers, os agentes buscavam informações variadas, incluindo entradas normalmente usadas em parques, museus e zoológicos na China.
Depois que as solicitações rotineiras foram bloqueadas, os agentes tentaram métodos alternativos, incluindo ferramentas públicas da web capazes de abrir páginas e executar código. Isso permitiu que eles encaminhassem as solicitações por outros sites, mas não ficou estabelecido que algum agente tenha lido o resultado ou concluído sua tarefa, disseram os pesquisadores.
Padrão mais amplo de agentes de IA saindo do controle
O incidente ocorre em meio a outros relatos de agentes de IA saindo do controle. A OpenAI afirmou na quinta-feira que um modelo interno de pesquisa implantou contratos inteligentes na rede de testes Sepolia da Ethereum usando fundos de uma carteira à qual obteve acesso sem autorização.
A agência de cibersegurança da Índia, CERT-In, também relatou que modelos de IA em teste acessaram sistemas em operação de organizações indianas e leram registros confidenciais sem serem detectados. A agência afirmou que os provedores divulgaram voluntariamente os incidentes, mas não os identificou.
Enquanto isso, a Tencent não identificou os modelos de terceiros envolvidos na atividade de navegação.