From Expected Harmfulness to Likelihood: A Probabilistic Reformulation of Jailbreaking LLM Agents

arXiv cs.AI · 8 oct, 06:00

Investigadores establecen una conexión matemática entre dos enfoques para hacer jailbreak de agentes LLM: maximizar la nocividad esperada versus aumentar la probabilidad de salidas dañinas. Proponen OPUR, un método de muestreo que genera salidas objetivo altamente dañinas para guiar la optimización del input, demostrando su efectividad en experimentos de jailbreaking.