EvoProbe: Evaluation-Driven Benchmark Evolution for LLM Agents

arXiv cs.AI · 15 oct, 06:00

EvoProbe es un marco de investigación que mejora continuamente los benchmarks de evaluación para agentes LLM mediante generación automática de tareas, evaluación diagnóstica y retroalimentación iterativa. En experimentos de ciberseguridad con ocho modelos, el enfoque revela diferencias de rendimiento detalladas y patrones de fallo comunes que los agregados tradicionales no capturan.