MADBench: Benchmarking the Security of Multi-Agent Debate

arXiv cs.AI · 1 oct, 06:00

MADBench es un benchmark para evaluar la seguridad de los sistemas de debate multi-agente (MAD) en LLM, que examina cómo los ataques adversariales se propagan entre agentes debatiendo. El estudio revela que el debate puede mitigar ciertos ataques pero también amplificar otros, como accesos no autorizados, y que incluso con coalición de tres de cinco agentes, los ataques tienen efecto limitado en cambiar respuestas correctas a incorrectas.