How Well Do LLMs Reason with Noisy Evidence? An Active Visual Reasoning Benchmark

arXiv cs.AI · 7 oct, 06:00

Un nuevo conjunto de datos de investigación, VisualNoiseQA, evalúa cómo los modelos de lenguaje grandes razonan con información visual ruidosa e incierta. El trabajo propone un benchmark donde un LLM debe resolver problemas de preguntas sobre imágenes consultando iterativamente un modelo de visión tratado como un sensor estocástico, exponiendo señales de incertidumbre mediante auto-consistencia.