Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers

arXiv cs.AI · 2 oct, 06:00

Un estudio audita si la entropía de enrutamiento en transformers dinámicos (variantes Attention-Residual de Swin-Tiny y DeiT-Small) proporciona información útil sobre la confiabilidad de las predicciones más allá de lo que ya revelan las probabilidades del modelo. Tras realizar múltiples pruebas de control y análisis de sensibilidad, los resultados sugieren que las señales de enrutamiento no mejoran significativamente la calibración del modelo en comparación con predictores basados únicamente en confianza.