CorrectGuard: Eyes-Off Correctness Estimation for Black-Box Security Guardrails

arXiv cs.CR · 5 oct, 06:00

CorrectGuard es un marco de trabajo para estimar si los guardrails de seguridad (mecanismos de defensa en sistemas de IA) funcionan correctamente en entornos donde ni humanos ni el propio modelo pueden inspeccionar las entradas de usuario, una limitación común en auditorías que priorizan la privacidad. El enfoque utiliza un evaluador independiente basado en modelos para predecir la corrección de las decisiones del guardrail sin acceso a sus internals, entrenado únicamente con datos etiquetados de entornos menos restrictivos.