Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety Classifiers

arXiv cs.CR · 14 oct, 06:00

Investigadores presentan la primera evaluación adversarial controlada del sistema de seguridad Jev de TypeSafe AI, comparándolo con jueces basados en GPT, GLM y clasificadores locales como Llama Guard 3. Jev demuestra mayor robustez en tareas de moderación de entrada (evita que forgeries clave bypass sus decisiones), pero es más vulnerable en detección de phishing, donde forgeries similares burlan el 19-29% de sus detecciones frente a solo el 9% en moderación.