Poster: A Preliminary Study of LLM Distillation Inference

arXiv cs.CR · 9 oct, 06:00

Investigadores proponen un método estadístico para detectar si un modelo de lenguaje fue destilado (entrenado con las salidas de otro modelo propietario) sin autorización. Mediante modelos de sombra y pruebas de hipótesis, logran identificar distilación no autorizada con una tasa de verdaderos positivos del 100 % en un estudio preliminar con Qwen2.5-7B como modelo maestro y Llama-3.2-3B como sospechosos.