Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents
Hugging Face Blog · 29 sept, 15:07
ProvenanceGuard es un sistema de verificación que audita las respuestas de agentes LLM basados en MCP (Model Context Protocol) para detectar cuando una afirmación es verdadera pero atribuida a la fuente incorrecta. El problema que aborda es la «conflación entre fuentes»: una verificación ciega al origen puede considerar válida una afirmación si existe en el conjunto de evidencias, pero asignarla a la herramienta o documento equivocado es tan problemático en contextos sensibles como los datos médicos o soporte al cliente como afirmar algo falso.
ProvenanceGuard funciona como una capa de verificación posterior a la generación que intercepta las respuestas de un agente LLM sin necesidad de reentrenamiento. Analiza el rastro capturado del MCP, que incluye las salidas de las herramientas y sus identificadores de fuente, y ejecuta una cadena de cinco pasos: descompone la respuesta en afirmaciones específicas, identifica la fuente más relevante para cada una, verifica si esa fuente realmente la respalda, compara la fuente declarada con la realmente consultada, y finalmente emite un veredicto por afirmación y una decisión global de permitir o bloquear.
El sistema utilizó modelos locales en los experimentos: MiniLM para encontrar la fuente relevante, un verificador NLI basado en DeBERTa para validar el respaldo, y un modelo de lenguaje local para descomponer afirmaciones. También valida valores literales (números, fechas, identificadores) con rigor. En pruebas con 281 rastros reales de un agente médico, ProvenanceGuard identificó 138 de 139 afirmaciones problemáticas, permitiendo solo una sin soporte, aunque fue conservador al retener 67 afirmaciones válidas para revisión adicional. Para afirmaciones con fuente identificable, seleccionó la fuente correcta aproximadamente el 86% de las veces.
Puntos clave
- Detecta la atribución incorrecta de afirmaciones verdaderas a la fuente equivocada (conflación entre fuentes)
- Implementado como capa de verificación posterior sin reentrenamiento del agente LLM
- Evaluado en 361 afirmaciones de un agente médico; identificó 138 de 139 afirmaciones sin respaldo correcto
- Selecciona la fuente correcta aproximadamente el 86% de las veces para afirmaciones verificables
- Puede adaptarse a modelos alojados en la nube aunque los experimentos usaron modelos locales
Figuras de la fuente
