What Does a Token Cost? A Mixture-of-Agents Measurement of Sufficient Per-Token Compute

arXiv cs.AI · 5 oct, 06:00

Un estudio de arXiv analiza el coste computacional real de cada token generado por grandes modelos de lenguaje mediante un enfoque de Mixture-of-Agents con quince modelos de distintas capacidades. Los investigadores descubren que el 10% de tokens más costosos representa el 64-80% del cómputo total, y que métodos como model routing y especulative decoding pueden optimizar significativamente la latencia y el uso de recursos.