Comedic Fool's Gold: Reward Exploits and Countermeasures in Conversational Humor

arXiv cs.AI · 2 oct, 06:00

Investigadores estudian cómo los modelos de lenguaje entrenados con recompensas automatizadas para generar humor conversacional pueden ser explotados mediante ataques a sus funciones de recompensa. Los resultados muestran vulnerabilidades en dos enfoques: uno basado en embeddings acepta respuestas con palabras desordenadas como si fueran ingeniosas, y otro basado en un modelo de audiencia es vulnerable a señales de risa manipuladas. El trabajo ilustra el desafío más amplio de diseñar sistemas de recompensas robustos que bloqueen exploits sin sacrificar el comportamiento deseado.