Ejecutar LLM localmente para realizar pruebas de penetración
Segu-Info · 6 oct, 20:28
GLM-5.3, lanzado por Z.ai en agosto de 2026, obtiene excelentes puntuaciones en benchmarks de ciberseguridad como CyberGym (84,5%) pero muestra un rendimiento mucho más bajo en pruebas reales de penetración con NexBench, alcanzando solo 33 puntos (duodécimo lugar de 17 modelos). La discrepancia entre métricas sintéticas y ejecución en el mundo real plantea cuestiones sobre la fiabilidad de las evaluaciones actuales de LLM para seguridad ofensiva.
GLM-5.3 destaca en benchmarks estándar como CyberGym, superando a Claude Mythos 5 (83,8%) y GPT-5.6 Sol (83,6%), y mejora dramáticamente en ExploitBench respecto a su versión anterior (54,4% frente a 24,4% en GLM-5.2). Z.ai también reporta que el modelo ha descubierto 2.436 vulnerabilidades en 269 proyectos de código abierto divulgadas públicamente.
Sin embargo, en NexBench —una evaluación interna de MindFort que simula una prueba de penetración completa y autorizada contra una aplicación web realista, con navegador, contenedor aislado y tareas distribuidas— GLM-5.3 obtiene solo 33 puntos, quedando en duodécimo lugar. El validador usa GPT-5.5 independiente para reproducir hallazgos. De sus 25 hallazgos validados, 15 fueron de alta gravedad, pero la precisión fue limitada: 3 de 28 envíos fueron rechazados, y sus dos ejecuciones en vivo scored 33 y 29 puntos. La variante Flash resultó más económica por hallazgo validado pero igualmente baja en ranking.
Puntos clave
- GLM-5.3 alcanza 84,5% en CyberGym pero solo 33 puntos en NexBench (duodécimo de 17 modelos)
- Detectó 2.436 vulnerabilidades en 269 proyectos de código abierto con mejora de 54,4% en ExploitBench
- 15 de 25 hallazgos validados fueron críticos pero 3 de 28 envíos fueron rechazados por imprecisión
- NexBench evalúa pentesting real con navegador, contenedor aislado y validador GPT-5.5 independiente