The Agent Said It Was Done. The Database Disagreed.
Hugging Face Blog · 4 oct, 00:56
Microsoft y Hugging Face presentan ThinkingBox, un benchmark que evalúa agentes de IA no solo por sus llamadas a herramientas o respuestas finales, sino por el estado real que dejan en las bases de datos tras ejecutarse. El estudio revela que el 67,24% de los intentos fallidos en verificaciones ejecutables parecían correctos (herramientas invocadas, sin errores reportados), pero dejaban valores incorrectos o efectos secundarios no deseados en el backend, exponiendo una brecha crítica entre lo que el agente afirma haber hecho y lo que realmente ocurrió.
El artículo ilustra el problema con un caso real: un agente de atención al cliente procesa nueve llamadas a herramientas correctamente, documenta el expediente y responde de forma adecuada, pero cierra un ticket como resuelto cuando debería estar en espera pendiente de que el transportista resuelva la excepción. Verificadores de inteligencia artificial que solo auditan llamadas a herramientas apropiadas pasarían por alto este fallo grave.
ThinkingBox ejecuta 507 flujos de trabajo stateful (comercio minorista, seguros de auto, viajes, banca de servicios limitados, consultoría) veinte veces cada uno contra doce modelos de LLM diferentes. En 121.680 intentos válidos, 79.853 fallaron en verificaciones ejecutables. De esos fallos, el 77,61% contenía valores de campo incorrectos, el 43,30% tenía efectos secundarios no intencionales y el 25,36% carecía de efectos requeridos. El benchmark reporta tres métricas: pass@1 (éxito en un único intento), pass@20 (capacidad de resolver en al menos uno de veinte intentos) y observed 20/20 (tareas que pasaron todos los veinte intentos). Claude Opus 5.5 lidera con 67,16% en pass@1; Kimi-K3 es el modelo de pesos abiertos más fuerte, muy cerca de GPT-6 Astra.
Puntos clave
- 67,24% de fallos ejecutables reportaban estado correcto en herramientas y respuestas sin errores
- 77,61% de los fallos dejaban valores incorrectos en la base de datos; 43,30% creaban efectos secundarios no intencionales
- Cada tarea se ejecuta 20 veces desde backend limpio idéntico para medir fiabilidad real, no capacidad puntual
- ThinkingBox cubre 507 flujos de trabajo stateful en cinco dominios de negocio contra 12 modelos de LLM
- Disponible para ejecutar mediante OpenEnv; caso de ejemplo en sandbox_external_retail_group1.py
Figuras de la fuente
