HARISSA: Inference-Time Self-Checks for Efficient and Safe Local Language Model Deployment

arXiv cs.AI · 30 sept, 06:00

HARISSA es una técnica de inference-time que mejora la seguridad y eficiencia de los modelos de lenguaje desplegados localmente, mediante self-checks basados en estados ocultos del modelo para decidir si conviene invertir más computación en una consulta o derivarla a intervención humana. El método alcanza precisión comparable a chain-of-thought con latencia 2,7 veces menor en dispositivos locales.