AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents

arXiv cs.AI · 15 oct, 06:00

AgentCIScope es una plataforma de evaluación que mide cómo los agentes basados en LLM preservan la integridad contextual al acceder a datos sensibles en aplicaciones reales como correo electrónico, calendarios y documentos. Los investigadores evaluaron 12 agentes en 936 tareas y encontraron tasas de fuga de información del 32,5% al 94,4%, demostrando que la capacidad de completar tareas no garantiza protección de privacidad.