TranScope: What the Software Hides About LLM Training Data, the Hardware Reveals at Scale, and Accelerators Magnify

arXiv cs.CR · 6 oct, 06:00

Investigadores demuestran por primera vez cómo la arquitectura del hardware (TLB, aceleradores) revela información sobre los datos de entrenamiento de grandes modelos de lenguaje mediante análisis de patrones de acceso en ciclo de máquina, incluso en modelos de tiempo constante sin ramas dependientes de entrada. Presentan TranScope, una herramienta que detecta si un texto fue parte del conjunto de entrenamiento analizando huellas microarquitectónicas, logrando 0,9 AUC frente a 0,6 AUC de métodos anteriores, abriendo nuevos canales de ataque de inferencia de membresía (MIA) y aplicaciones como verificación de derechos de autor.