ACTS: A multi-tier benchmark evaluating LLM cipher identification under controlled blind conditions

arXiv cs.CR · 24 sept, 06:00

ACTS es un benchmark que evalúa la capacidad de los LLM para identificar cifrados sin acceso a metadatos, revelando que estos modelos dependen fuertemente de información contextual: alcanzan el 71,7 % de precisión con metadatos completos pero caen al 30,8 % en condiciones ciegas, apenas por encima del nivel aleatorio del 14,3 %. El estudio demuestra que el razonamiento forzado (chain-of-thought, code-as-reasoning) no mejora significativamente el rendimiento, sugiriendo que los LLM carecen de verdadera capacidad criptanalítica en condiciones de privación de información.