Surprise Masking: Private Data Filtering with Model Likelihoods

arXiv cs.CR · 19 oct, 06:00

Se propone Surprise Masking (SM), un método de filtrado basado en perplejidad que utiliza un modelo de referencia disponible públicamente para identificar y suprimir el aprendizaje de información privada o no deseada en datos de entrenamiento de modelos de lenguaje, mientras preserva el resto de cada ejemplo. En experimentos con código sintético, SM mejora el equilibrio privacidad-utilidad respecto a métodos estándar de enmascaramiento y filtrado de información identificable personal (PII).