A OpenAI acusou a Moonshot AI de ter papel central numa campanha para extrair o raciocínio protegido de seus modelos.
A OpenAI detectou cerca de 16 mil solicitações de mais de 4 mil usuários em 24 e 25 de julho.
A OpenAI disse ter interrompido a campanha até 28 de julho, após identificar padrões usados por mais de 15 mil usuários.
A OpenAI afirmou que os operadores transferiam respostas entre conversas e usavam outro modelo para descriptografá-las.
A OpenAI disse que a destilação adversarial ameaça outros sistemas de IA e exige coordenação do setor.
A OpenAI acusou a Moonshot AI, da China, de desempenhar um papel fundamental em uma campanha de destilação para extrair o raciocínio protegido de seus modelos.
Em uma publicação no blog publicada na quarta-feira, a OpenAI escreveu que identificou milhares de tentativas de usuários de extrair informações que poderiam ajudar outras pessoas a reproduzir os recursos do modelo.
A destilação de conhecimento é uma técnica de aprendizado de máquina que envolve treinar um modelo de IA menor usando as saídas de modelos mais capazes.
A campanha coordenada começou com baixo volume em 1º de julho e atingiu o pico em 24 e 25 de julho, quando a OpenAI detectou cerca de 16.000 solicitações que usavam um padrão de extração relevante de mais de 4.000 usuários. A empresa afirmou ter interrompido a campanha até 28 de julho, após identificar padrões relacionados usados por mais de 15.000 usuários.
A OpenAI afirmou não estar claro se todos os operadores tinham origem em um único agente, mas atribuiu um núcleo da atividade a indivíduos associados à Moonshot, uma importante empresa chinesa de IA.
A empresa americana de IA afirmou que os operadores tentaram descobrir o raciocínio protegido de maneiras inéditas, incluindo a transferência de saídas entre conversas e o uso de outro modelo para descriptografar e transcrever o conteúdo oculto do raciocínio.
"A atividade evoluiu ao longo do tempo, reforçando que a destilação adversarial é um desafio de segurança mais amplo que exige defesas em camadas e adaptativas", afirmou a equipe.
O The Latent entrou em contato com a Moonshot para pedir um comentário.
A OpenAI afirmou que essas campanhas de destilação representam riscos à segurança e à segurança nacional, pois o raciocínio extraído poderia ser usado para treinar outros modelos sem preservar as salvaguardas adequadas.
"Esse risco não é exclusivo da OpenAI", afirmou a empresa, acrescentando que técnicas semelhantes podem afetar outros sistemas avançados de IA, "transformando isso em um desafio de segurança compartilhado que exige coordenação em todo o setor".
As acusações surgem em meio a uma disputa mais ampla sobre como laboratórios chineses usam modelos americanos. No mês passado, a Anthropic acusou a Moonshot e a DeepSeek de encaminhar silenciosamente solicitações de usuários para modelos Claude e exibir as respostas aos usuários como se fossem suas. A Anthropic também acusou a Alibaba e a Xiaomi de conduzir campanhas de destilação contra seus modelos.
Órgãos federais dos EUA manifestaram preocupações semelhantes, alegando no mês passado que empresas chinesas de IA extraíram sistematicamente recursos de modelos americanos de IA por meio de destilação.
Enquanto isso, o The Information informou na semana passada que o órgão chinês responsável por fiscalizar a internet estava investigando a Moonshot e a DeepSeek por possíveis vazamentos de dados para a Anthropic.
