AgentSafeEvo: Adversarial Co-Evolution for LLM Agent Safety

arXiv cs.AI · 15 oct, 06:00

AgentSafeEvo es un marco de aprendizaje por refuerzo co-evolutivo que mejora la seguridad de agentes basados en modelos de lenguaje grande mediante un juego entre atacante y defensor. El sistema entrena atacantes para construir tareas adversariales que expongan debilidades en el uso de herramientas del agente defensor, mientras este aprende a completar tareas de forma segura bajo estos ataques.