Formal Runtime Verification for Tool-Using LLM Agents: An Offline Same-Benchmark Study on AgentDojo and STAC

arXiv cs.CR · 8 oct, 06:00

Un estudio académico evalúa el uso de lógica temporal de primer orden métrica (MFOTL) para monitorizar offline agentes LLM que utilizan herramientas, mediante el análisis de trayectorias registradas en los conjuntos de datos AgentDojo y STAC. Las políticas formales detectan entre el 70 y el 72% de ataques, pero también generan falsos positivos en el 29% de ejecuciones benignas debido a limitaciones de los datos de entrenamiento.