From Attack Success to Attack Severity: Counterfactual Memory Attacks on LLM Agents

arXiv cs.AI · 29 sept, 06:00

Investigadores presentan MemHarm, un método para diseñar ataques contra agentes LLM que explotan la memoria persistente. En lugar de optimizar solo la tasa de éxito del ataque, el enfoque se centra en maximizar el daño downstream (CMR, counterfactual memory regret) mediante ediciones semánticas sparse dirigidas, demostrando que los ataques exitosos pueden causar consecuencias muy distintas en comportamientos futuros del agente.