SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models

arXiv cs.AI · 6 oct, 06:00

SpecFold es un algoritmo que acelera la generación de texto en modelos de lenguaje por difusión mediante la reutilización inteligente de cálculos compartidos entre múltiples ramas de decodificación especulativa. La técnica aprovecha la redundancia computacional inherente a este proceso para lograr mejoras de throughput de hasta 1,99x sin perder precisión en las tareas evaluadas.