LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models

arXiv cs.AI · 16 oct, 06:00

Investigadores presentan LoopAhead, un método de especulación de decodificación para transformadores recurrentes que mejora la velocidad de generación de tokens. El enfoque utiliza un drafter de lookahead ligero en capas tempranas del modelo para predecir múltiples tokens futuros, mientras que capas más profundas validan qué ramas especulativas continuar, consiguiendo aceleraciones de hasta 7,82x.