Secure Speculative Decoding for Large Language Models

arXiv cs.CR · 7 oct, 06:00

Un estudio sistemático revela que los métodos de decodificación especulativa en LLMs, aunque aceleran la inferencia, introducen vulnerabilidades significativas a ataques de jailbreak e inyección de prompt. Los investigadores proponen SecureSD, un nuevo método que mejora la seguridad mediante criterios de verificación más estrictos en los tokens iniciales generados por el modelo draft, manteniendo la eficiencia.