Context-dependent agent evaluation with orthogonal equilibrium learning

arXiv cs.AI · 29 sept, 06:00

Investigadores proponen NashEval, un marco para evaluar agentes de IA en función del contexto (prompt, tarea o grupo de usuarios) a partir de retroalimentación offline. El método utiliza teoría de juegos y equilibrio de Nash para identificar conjuntos de agentes ganadores específicos del contexto, evitando el problema de los modelos de puntuación tradicionales que imponen ordenamientos de preferencia transitivos cuando los juicios humanos son heterogéneos.