Learning the Cost of Reliable Inference

arXiv cs.AI · 24 sept, 06:00

Un estudio presenta una plataforma de procuración que utiliza subastas inversas de segundo precio para que proveedores de modelos de lenguaje ofertes competitivamente por servir consultas con garantías de calidad. Los experimentos con modelos Llama y Qwen muestran que los márgenes de precios varían del 10% al 71% según la tarea, sugiriendo ineficiencias en los mercados actuales de precio fijo.