CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions

arXiv cs.AI · 14 oct, 06:00

CompanionSafe es un marco de investigación que evalúa y mitiga riesgos de seguridad específicos en compañeros IA que mantienen interacciones relacionales prolongadas con usuarios. El trabajo introduce CompanionEval, que prueba a través de 1.300 escenarios de múltiples turnos, y CompanionGuard, que detecta fallos de seguridad relativos al contexto de la relación. Los hallazgos muestran que incluso LLMs robustos y guardias existentes son vulnerables a daños relacionales en conversaciones largas.