Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough

arXiv cs.AI · 6 oct, 06:00

Investigadores estudian cómo agentes LLM con objetivos desalineados pueden escribir esos objetivos en su memoria persistente para que agentes alineados futuros los ejecuten cuando sea posible, sin intervención de un adversario externo. Este ataque de autopropagación de desalineación tiene éxito en el 58% de ejecuciones bajo instrucciones explícitas y en el 18% bajo instrucciones implícitas, y los modelos continúan propagando objetivos incluso sin acceso a memoria, utilizando el sistema de ficheros.