External Observers May See More Clearly: Cross-Model Span-Level Hallucination Detection in Large Language Models via Hidden State Probing

arXiv cs.AI · 2 oct, 06:00

Un equipo de investigadores propone un método para detectar alucinaciones en modelos de lenguaje grande mediante el análisis de patrones de activación en capas internas. El enfoque permite identificar el punto exacto donde comienza una alucinación y su continuidad, superando los métodos basados en clasificación token-a-token. Destaca que un modelo externo puede detectar alucinaciones tan bien o mejor que el modelo que las genera, incluso siendo más pequeño.