From Bilinear to Linear: Differentially Private Federated LoRA via Low-Dimensional Parameterization

arXiv cs.CR · 23 sept, 06:00

FedHSIP es un nuevo marco para adaptar modelos de lenguaje grandes en entornos federados manteniendo privacidad diferencial, resolviendo problemas de ruido amplificado y desajuste de agregación mediante una parameterización de baja dimensión unificada. Los experimentos muestran mejoras de 3-4% en precisión bajo privacidad diferencial y reducción del 80% en costes de comunicación.