OpenAI’s math solutions aren’t meeting the field’s standards yet
TechCrunch AI · 8 oct, 20:10
OpenAI lanzó cientos de supuestas soluciones a problemas matemáticos extremadamente difíciles, pero no cumplió plenamente con los estándares establecidos por un grupo asesor de matemáticos de élite. Un nuevo artículo de investigadores de Cambridge y King's College reveló discrepancias entre las pruebas en lenguaje natural y las formalizadas en código Lean, cuestionando si los modelos de IA pueden traducir automáticamente sus soluciones sin participación humana.
OpenAI consultó con el Advisory Group on Mathematics and Artificial Intelligence (AGMAI), alojado en el Institute for Advanced Studies de Princeton, que publicó directrices a finales de septiembre para que los laboratorios fronterizos resolvieran problemas matemáticos de forma responsable. Sin embargo, OpenAI incumplió varios principios clave: su primera recomendación era dejar de evaluar modelos propietarios en problemas matemáticos abiertos, algo que OpenAI hizo explícitamente. De los 719 manuscritos, solo diez incluyeron el chain of thought del modelo, y únicamente el 42% de las pruebas fue formalizado en Lean.
Un artículo publicado esta semana por matemáticos de Cambridge y King's College documentó al menos dos discrepancias entre la prueba en lenguaje natural y el código Lean en una solución de OpenAI sobre las ecuaciones de Navier-Stokes. El AGMAI enfatizó que OpenAI debe asumir la responsabilidad de garantizar que habrá comprensión humana de los resultados, incluso sugiriendo que financie el trabajo de matemáticos humanos para validar las soluciones. Terence Tao, prominente matemático, criticó que OpenAI y otros usen prompters de IA sin comprensión real del campo ni de sus propios outputs.
Puntos clave
- Solo 10 de 719 manuscritos incluyen explicaciones del chain of thought del modelo
- Solo el 42% de las pruebas fue formalizada en Lean sin problemas
- Discrepancias documentadas entre pruebas en lenguaje natural y código formalizado en ecuaciones de Navier-Stokes
- AGMAI recomendó que OpenAI no evalúe modelos propietarios en problemas matemáticos abiertos
- Los matemáticos enfatizan que la comprensión humana es esencial para validar nuevos resultados