Correct Verdicts, Flawed Reasoning: Structured Auditing of LLM-based Vulnerability Reasoning

arXiv cs.CR · 6 oct, 06:00

Investigadores auditaron modelos de lenguaje grandes (LLMs) usados para análisis automatizado de vulnerabilidades de software y descubrieron que aproximadamente el 60% de los veredictos correctos van acompañados de razonamientos fabricados o inverificables. Presentan VERA, un marco automatizado que obliga a los LLMs a producir un registro de razonamiento estructurado (SRR) en lugar de texto libre, permitiendo detectar errores de lógica que los evaluadores basados en LLMs estándar pierden sistemáticamente.