From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection

arXiv cs.CR · 16 oct, 06:00

Un estudio evaluó modelos de detección de prompt injection bajo distribución shift, incluyendo Llama Prompt Guard 2 y un juez basado en LLM. Los resultados muestran que aunque el juez LLM logró la mejor discriminación (AUROC 0.897), las probabilidades calibradas por sí solas no garantizan decisiones seguras bajo cambios de distribución, requiriendo tasas de escalado superiores al 91.8% para cumplir objetivos de falsos negativos.