Not All 4-bit Quantizers Are Equal: Deployment-Time Mitigation of PII Leakage in Fine-Tuned Small Language Models

arXiv cs.CR · 23 sept, 06:00

Un estudio demuestra que el método de cuantización a 4 bits utilizado al comprimir modelos de lenguaje pequeños afecta directamente a la privacidad y la fuga de datos personales (PII). Los métodos basados en calibración como AWQ y GPTQ previenen prácticamente toda fuga de información, mientras que GGUF Q4_K_M sin calibración filtra el 5,3% de registros plantados. La elección del algoritmo de compresión es, por lo tanto, una decisión crítica de privacidad en el despliegue de modelos.