Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents

arXiv cs.AI · 14 oct, 06:00

Investigadores presentan Bemula, el primer benchmark para evaluar si los agentes de IA pueden olvidar información sensible cuando el usuario lo solicita explícitamente. La evaluación de seis sistemas de memoria bajo tres LLMs distintos revela que ninguno supera el 1,5% de solicitudes de olvido end-to-end: los sistemas dejan la información extractable mediante ataques simples o borran más de lo necesario. El olvido de memoria sigue siendo un desafío abierto crítico para el diseño seguro de agentes de IA.