CART: Closed-Loop Adaptive Red Teaming for Large Language Models

arXiv cs.AI · 24 sept, 06:00

CART (Closed-Loop Adaptive Red Teaming) es un framework que automatiza las pruebas de seguridad en modelos de lenguaje grande, aprendiendo de cada resultado para guiar las siguientes pruebas en lugar de usar un conjunto fijo de prompts. El sistema separa tres roles —Challenger, Target y Judge— para estudiarlos de forma independiente y descubre más vulnerabilidades que los métodos estáticos en modelos de frontera y agentes con capacidad de usar herramientas.