DISCERN: Can AI Agents Work Like Scientists and Guide Discovery?

arXiv cs.AI · 29 sept, 06:00

Investigadores presentan DISCERN, un banco de pruebas que evalúa si los agentes de IA pueden realizar trabajo científico confiable verificando datos, validando análisis e hipótesis. El estudio con ocho modelos en 203 tareas revela debilidades críticas: los agentes apenas superan el 60 % en validación de datos, 34 % en verificación de análisis y solo el 0,6 % en generación de hipótesis bajo revisión adversarial, demostrando que el rendimiento agregado puede ocultar fallos sistémicos en el razonamiento basado en evidencia.