The Right Information Extraction Pipeline Depends on the Document: Accuracy-Energy Trade-offs for Small, Local Models

arXiv cs.AI · 28 sept, 06:00

Un estudio en arXiv analiza cómo optimizar pipelines de extracción de información usando modelos locales pequeños (≤8B parámetros) en lugar de servicios en la nube, evaluando el balance entre precisión y consumo energético. Los investigadores encuentran que el batching reduce el consumo de energía entre 38-85% sin pérdida de precisión, y que la solución óptima depende del tipo de documento: modelos multimodales para documentos con diseño complejo y modelos solo-texto para documentos casi-texto plano.