Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

arXiv cs.AI · 9 oct, 06:00

Investigadores auditan la fiabilidad de las justificaciones legales generadas por grandes modelos de lenguaje, encontrando que los modelos nombran correctamente la autoridad legal citada (66,7%-100%), pero el veredicto real cambia muy inconsistentemente cuando se sustituye esa autoridad por otra (0,0%-76,7% según la prueba). Además, los modelos son vulnerables a instrucciones adversariales ocultas en los hechos del caso (73,3%-96,4%), lo que sugiere que el nombre de la autoridad legal es un indicador pobre de si el veredicto depende realmente de ella.