RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents

arXiv cs.CR · 6 oct, 06:00

Investigadores proponen RAISED, un marco de defensa basado en self-distillation para reducir la vulnerabilidad de agentes LLM a ataques de prompt injection indirecta. El método entrena modelos a generar sus propios escenarios de tool-use y luego usa self-distillation para mantener el comportamiento correcto tanto en contextos limpios como en versiones inyectadas, logrando reducir la tasa de éxito del ataque sin degradar las capacidades generales del modelo.