Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation

arXiv cs.CR · 29 sept, 06:00

Se evalúan modelos de lenguaje (Jev, Laya, Decider y Bespoke Nimble) como jueces de seguridad para detectar inyecciones de prompt, evaluar riesgos de interacción y filtrar solicitudes dañinas en sistemas de agentes. El estudio revela que aunque estos modelos tienen un desempeño general fuerte y buena calibración promedio, pueden fallar sistemáticamente ante grupos específicos de ataques, incluidos aquellos que clasifican con confianza como seguros. Bajo límites estrictos de ataques fallidos, las políticas evaluadas permiten automatizar pocas decisiones, y el uso de umbrales separados para permitir y bloquear incrementa la automatización principalmente bloqueando más entradas.