CARAT: Do Materials LLMs Reason or Recite?

arXiv cs.AI · 1 oct, 06:00

Investigadores presentan CARAT, un benchmark para evaluar si los LLMs de materiales razonan sobre estructuras cristalinas o simplemente reproducen respuestas memorizadas. El trabajo muestra que estos modelos a menudo recitan información del input en lugar de realizar razonamiento genuino, incluso cuando alcanzan alta precisión.