PartHackBench: Certified Equal-Progress Stress Tests for Partial-Credit Tool-Agent Evaluation

arXiv cs.AI · 25 sept, 06:00

PartHackBench es una metodología de evaluación para agentes que usan herramientas (tool-agents) de horizonte largo, diseñada para detectar y prevenir inflación de puntuaciones en evaluaciones con crédito parcial. El trabajo identifica cómo los evaluadores pueden ser engañados para recompensar progresos ficticios, reversibles o no atribuibles al agente evaluado.