Same Bytes, Different Authority: Reserved-Token Representations in Chat-Template Prompt Injection

arXiv cs.CR · 30 sept, 06:00

Un estudio demuestra que los prompt injections contra agentes LLM son mucho más efectivos cuando las instrucciones inyectadas usan el chat template propio del modelo, específicamente los tokens reservados como <|im_start|>. La investigación revela que la autoridad del ataque reside en la representación aprendida del token reservado, no en su texto, y que la mitigación estándar (codificar tokens especiales como subword ordinarios) deja vulnerables a 255 de los 400 modelos más descargados en Hugging Face.