Gemini 4 arrasa en los benchmarks y vuelve a meter a Google en la carrera de la IA. El problema son precisamente los benchmarks
Xataka IA · 1 oct, 09:21
Google presenta Gemini 4 Argon, que según benchmarks equipara a OpenAI y Anthropic en modelos frontera, obteniendo 53 puntos en el Intelligence Index de Artificial Analysis. Sin embargo, el artículo cuestiona la validez de estas métricas: empleados de Google reportan que el modelo no funciona tan bien en tareas de programación reales como sugieren las pruebas, revelando una brecha entre el rendimiento en benchmarks acotados y el comportamiento en casos de uso del mundo real.
Google posiciona Gemini 4 Argon con resultados internos que lo sitúan por encima de Claude Opus 5.5 y Fable 5.1 en diversas pruebas. El modelo será distribuido inicialmente a través del programa Fairwind dirigido a un grupo limitado de probadores de confianza y especialistas en ciberseguridad, y está siendo analizado por el Gobierno de EE.UU. como medida preventiva.
La tensión central radica en la discrepancia entre métricas y experiencia práctica. Bloomberg reporta que empleados internos tienen opiniones divididas sobre las capacidades reales del modelo en tareas de programación, mientras que Sundar Pichai defiende que los equipos internos lo utilizan extensivamente con buenos resultados. Los benchmarks, por su naturaleza, requieren tareas delimitadas y reproducibles que no reflejan los casos de uso reales: repositorios enormes, dependencias imperfectas y documentación incompleta.
En alucinaciones, Gemini 4 registra un 15% en AA-Omniscience frente al 50% de GPT-6 Astra, pero esto se debe a que Gemini 4 responde "no lo sé" en lugar de alucinar respuestas. Gemini 4 lanzará con precio promocional de $0.02/$0.10 por millón de tokens (entrada/salida), un 40% más económico que GPT-6 Astra, aunque se espera que los precios se dupliquen posteriormente a $0.04/$0.20.
Puntos clave
- Gemini 4 Argon obtiene 53 puntos en Intelligence Index, equiparándose a GPT-6 Astra
- Disponible inicialmente para probadores de confianza y especialistas en ciberseguridad mediante Fairwind
- Discrepancia reportada entre rendimiento en benchmarks y desempeño real en tareas de programación
- Tasa de alucinaciones del 15% (frente al 50% de GPT-6 Astra) basada en respuestas "no lo sé" en lugar de precisión pura
- Precio promocional de $0.02/$0.10 por millón de tokens, duplicándose posteriormente a $0.04/$0.20
Figuras de la fuente
