FinancialAuditBench: Benchmark Construction under Differential Privacy Using Real-World Priors

arXiv cs.AI · 29 sept, 06:00

Se presenta FinancialAuditBench, un conjunto de tareas para evaluar agentes de IA en auditoría financiera. El trabajo utiliza estadísticas diferencialmente privadas de auditorías históricas y experiencia profesional para generar 90 tareas sintéticas de auditoría en seis compromisos ficticios. Las pruebas en once modelos frontier muestran que los agentes completan bien muchas tareas a nivel de personal, aunque a veces realizan procedimientos inapropiados o generan documentación incorrecta.