Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents

arXiv cs.CR · 5 oct, 06:00

Un análisis de investigadores sobre detectores de prompt injection para agentes LLM revela que las puntuaciones en benchmarks públicos no predicen bien el comportamiento real dentro de agentes. Los detectores que funcionan mejor en un benchmark fallan significativamente en otros, lo que sugiere que las evaluaciones estándar no son representativas del contexto de despliegue real.