What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document

arXiv cs.CR · 6 oct, 06:00

Un estudio sobre split learning revela que los gradientes transmitidos durante el entrenamiento distribuido de modelos de lenguaje permiten a un atacante recuperar hasta el 97,38% de los tokens del texto original del cliente a partir del tráfico interceptado, 3,17 puntos porcentuales más que con solo las activaciones. La métrica de evaluación importa decisivamente: aunque el texto recuperado es casi completo por token, el atacante solo reconstruye exactamente el 37,77% de documentos cuando observa gradientes, frente al 13,71% sin ellos, lo que subraya la necesidad de reportar la fuga de información de ambas formas.