An Evaluation of the Semantic Understanding Capabilities of Large Language Models for Web Attack Payloads

arXiv cs.CR · 6 oct, 06:00

Un estudio presenta PayloadSemBench, un benchmark de evaluación semántica de cuatro capas para medir cómo los modelos de lenguaje grande (LLM) entienden los ataques web. La investigación revela que los LLM identifican bien el tipo de payload e intención de ataque, pero tienen dificultades en la evaluación de severidad, y que el entendimiento semántico solo explica parcialmente los fallos en la detección.