SpeedrunBench: Challenging LLM Agents with Video Game Speedrunning

arXiv cs.AI · 7 oct, 06:00

Investigadores presentan SpeedrunBench, un conjunto de evaluación que desafía a agentes LLM frontier usando videojuegos de speedrunning. El benchmark evalúa la capacidad de los agentes para formar estrategias sofisticadas, mejorar iterativamente y razonar a largo plazo en 9 juegos diferentes, donde deben superar registros mundiales establecidos por humanos.