OpenAI Disrupts Reasoning Extraction Campaign Linked to Moonshot AI Associates
The Hacker News · 1 oct, 12:42
OpenAI identificó y disrumpió una campaña coordinada de destilación adversarial diseñada para extraer ilegalmente el razonamiento protegido de sus modelos de IA, atribuyendo un núcleo de la actividad a individuos asociados con Moonshot AI, empresa china con sede en Pekín. Los atacantes manipularon las interacciones del modelo para reproducir el razonamiento protegido sin comprometer la encriptación ni las bases de datos, operando desde más de 4.000 usuarios con picos de 16.000 intentos de solicitud en julio de 2026. La campaña fue completamente disrumpida el 28 de julio, pero destaca que la extracción de razonamiento protegido representa riesgos de seguridad nacional, ya que permite entrenar otros modelos sin preservar las salvaguardas de seguridad del modelo original.
La actividad de destilación comenzó el 1 de julio de 2026 a bajo volumen, escalando significativamente el 24-25 de julio con solicitudes coordinadas de más de 4.000 usuarios utilizando patrones de extracción relevantes. Los atacantes utilizaron un ataque de inyección de trazas de razonamiento encriptado, inyectando estos datos en modelos más débiles y menos protegidos para forzar su decodificación en texto plano, según investigadores de MATS Research, ELLIS Institute Tübingen y Snyk. Este método permite eludir mecanismos anti-destilación sin comprometer directamente el modelo más capaz.
OpenAI implementó mitigaciones adicionales, cerró la "vía de acceso" que permitía reproducir razonamiento encriptado de otros usuarios, y añadió comprobaciones para detectar salidas transmitidas que expongan razonamiento. La extracción de razonamiento protegido revela información sensible y capacidades del modelo que podrían usarse para entrenar competidores sin preservar salvaguardas de seguridad. La campaña GTG-16002 no es la primera: hace poco, Anthropic acusó a Moonshot AI de retransmitir solicitudes de clientes a Claude en lugar de procesarlas con Kimi, reteniendo un subconjunto de intercambios para entrenar su modelo de chain-of-thought.
Puntos clave
- Campaña de destilación adversarial atribuida a asociados de Moonshot AI desde el 1 de julio de 2026
- Pico de 16.000 intentos de solicitud desde 4.000+ usuarios el 24-25 de julio
- Inyección de trazas de razonamiento encriptado en modelos débiles para eludir protecciones
- Disrumpida completamente el 28 de julio; 15.000+ usuarios afectados por actividad relacionada