Speedbumps: Rejection Attacks on Speculative Decoding

arXiv cs.CR · 9 oct, 06:00

Investigadores descubren ataques de rechazo especulativo (SRA) que degradan el rendimiento de la decodificación especulativa en modelos de lenguaje grandes, técnica usada para acelerar la inferencia. Los ataques añaden sufijos adversariales que hacen que los modelos draft y objetivo difieran más frecuentemente, reduciendo los tokens aceptados por ciclo y aumentando significativamente el coste computacional para la víctima.