Unconstrained CTI-REALM with Open-Weights

arXiv cs.AI · 14 oct, 06:00

Un estudio en arXiv compara veintiséis modelos de lenguaje (diecinueve de pesos abiertos y siete cerrados) en CTI-REALM, un benchmark que evalúa agentes de IA para convertir reportes de inteligencia de amenazas en detecciones funcionales. Los hallazgos principales muestran que modelos de pesos abiertos pueden igualar el rendimiento de los modelos cerrados más costosos con menos de una décima parte del precio, siempre que dispongan de suficientes turnos de interacción.