Sleeping Secrets: How Fine-Tuning Reawakens Privacy Risks in Language Models

arXiv cs.CR · 2 oct, 06:00

Un estudio muestra que el fine-tuning de modelos de lenguaje (GPT-2, OPT, Qwen3) puede recuperar información privada previamente memorizada que ya no es accesible mediante consultas directas, incluso sin supervisión genuina del conjunto de datos original. El ataque ReGap propuesto utiliza candidatos generados por el propio LLM como supervisión para restaurar asociaciones privadas mediante adaptación de bajo rango, mejorando la recuperación entre 6-21 puntos porcentuales.