OpenAI ha acusado a Moonshot AI, de China, de desempeñar un papel clave en una campaña de destilación para extraer el razonamiento protegido de sus modelos.
En una publicación de blog publicada el miércoles, OpenAI escribió que identificó miles de intentos de usuarios por extraer información que podría ayudar a otros a reproducir las capacidades del modelo.
La destilación de conocimiento es una técnica de aprendizaje automático que consiste en entrenar un modelo de IA más pequeño utilizando los resultados de otros más capaces.
La campaña coordinada comenzó con un volumen reducido el 1 de julio y alcanzó su punto máximo los días 24 y 25 de julio, cuando OpenAI detectó unas 16.000 solicitudes que utilizaban un patrón de extracción relevante procedentes de más de 4.000 usuarios. La empresa afirmó que interrumpió la campaña el 28 de julio, después de identificar patrones relacionados desplegados por más de 15.000 usuarios.
OpenAI afirmó que no está claro si todos los operadores procedían de un único actor, pero atribuyó un núcleo de la actividad a personas asociadas con Moonshot, una importante empresa china de IA.
La empresa estadounidense de IA afirmó que los operadores intentaron descubrir el razonamiento protegido de formas novedosas, como transferir resultados entre conversaciones y pedir a otro modelo que descifrara y transcribiera el contenido oculto del razonamiento.
"La actividad evolucionó con el tiempo, lo que confirma que la destilación adversaria es un desafío de seguridad más amplio que requiere defensas por capas y adaptativas", afirmó el equipo.
The Latent se ha puesto en contacto con Moonshot para solicitar comentarios.
Un desafío de seguridad compartido
OpenAI afirmó que estas campañas de destilación plantean riesgos para la seguridad y la seguridad nacional, ya que el razonamiento extraído podría utilizarse para entrenar otros modelos sin mantener las salvaguardas adecuadas.
"Este riesgo no es exclusivo de OpenAI", afirmó la empresa, y añadió que técnicas similares podrían afectar a otros sistemas avanzados de IA, "lo que convierte esto en un desafío de seguridad compartido que requiere coordinación en toda la industria".
Las acusaciones se producen en medio de una disputa más amplia sobre cómo los laboratorios chinos utilizan los modelos estadounidenses. El mes pasado, Anthropic acusó a Moonshot y DeepSeek de enrutar silenciosamente las solicitudes de los usuarios a modelos de Claude y mostrar las respuestas a los usuarios como si fueran propias. Anthropic también acusó a Alibaba y Xiaomi de ejecutar campañas de destilación dirigidas contra sus modelos.
Las agencias federales de EE. UU. han expresado preocupaciones similares, al afirmar el mes pasado que las empresas chinas de IA extraían sistemáticamente capacidades de los modelos estadounidenses de IA mediante la destilación.
Mientras tanto, The Information informó la semana pasada que el organismo chino de vigilancia de internet estaba investigando a Moonshot y DeepSeek por posibles filtraciones de datos a Anthropic.