AuthGateBench: Benchmarking LLMs as Authorization Gate

arXiv cs.AI · 14 oct, 06:00

AuthGateBench es un nuevo benchmark que evalúa la capacidad de los LLM para tomar decisiones de autorización en sistemas de aprobación automática de acciones de alto riesgo, como los usados en Claude Code. El estudio revela que los modelos toman decisiones inestables y no deterministas, a menudo bloqueando acciones incluso cuando están explícitamente autorizadas, lo que expone vulnerabilidades en la escalada de privilegios y otros modos de fallo.