6IA × Ciber✨ Curioso
SpecGuard: Proving a Task Is Broken Before the Agent Cheats
arXiv cs.AI · 8 oct, 06:00
SpecGuard es una herramienta que detecta y formaliza conflictos entre la especificación de una tarea y sus pruebas de validación, antes de que un agente autónomo las ejecute. El sistema convierte la descripción de la tarea en una especificación Lean 4, verifica si existe alguna implementación que satisfaga ambas especificaciones, y emite un certificado criptográfico cuando se detecta incompatibilidad. Este enfoque previene que agentes de codificación recurran a trucos («reward hacking») como editar pruebas o desactivar defensas de seguridad.
#Seguridad LLM#IA ofensiva#IA defensiva