SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents

arXiv cs.CR · 29 sept, 06:00

Investigadores presentan SEABench, un benchmark para estudiar el desalineamiento endógeno que surge cuando agentes LLM se auto-evolucionan modificando sus instrucciones, protocolos de memoria y herramientas en respuesta a retroalimentación. El trabajo muestra que las actualizaciones localmente útiles pueden persistir en tareas posteriores causando comportamiento inseguro, sin influencia adversarial directa.