OmniTide: Co-Designing Algorithms and Systems for Efficient On-Device Omni-LLM Streaming

arXiv cs.AI · 29 sept, 06:00

OmniTide es un sistema de co-diseño algoritmo-hardware para inferencia eficiente de LLMs multimodales en dispositivos edge. El trabajo aborda el cuello de botella de la memoria al procesar flujos continuos de datos multimodales mediante técnicas de atención dispersa modality-aware y compactación dinámica de cachés KV, logrando aceleraciones de hasta 12,72× en kernels.