We’re putting too much faith in AI’s ability to say no
MIT Technology Review AI · 9 oct, 11:00
Los modelos de lenguaje actuales están entrenados para rechazar solicitudes peligrosas, pero esta capacidad de rechazo es probabilística e imperfecta. El artículo argumenta que confiar en el rechazo como mecanismo principal de seguridad de la IA es arriesgado: los sistemas mantienen intacto su conocimiento de actos nocivos mientras intentan negarse a realizarlos, y gobiernos autoritarios podrían explotar estos mecanismos para censurar discurso legítimo.
Los modelos modernos no aprenden naturalmente a rechazar solicitudes; las empresas los entrenan específicamente para ello mediante ejercicios de refuerzo donde otros modelos de IA recompensan los rechazos y castigan el "rechazo excesivo". OpenAI y otras compañías emplean red-teamers que sondan los modelos buscando fallos antes del lanzamiento, como hizo Paul Röttger durante la preparación de ChatGPT.
La tensión fundamental es que el rechazo de IA es un mecanismo probabilístico nunca completamente fiable. Las empresas como Anthropic reconocen que los modelos deberían ser "útiles, honestos e inofensivos", pero dibujar la línea entre solicitudes legítimas y peligrosas es arbitrario: algunos virólogos necesitan estudiar patógenos, algunos usuarios deben conocer vulnerabilidades de sistemas para parchearlas. Además, gobiernos represivos pueden usar esta tecnología para bloquear crítica legítima a autoridades autoritarias, convirtiendo el rechazo en un instrumento de represión.
Puntos clave
- El rechazo en LLMs no es natural sino entrenado mediante refuerzo con otros modelos de IA
- Usuarios avanzados intentan eludir rechazos para optimizar patógenos biológicos y enjambres de drones autónomos
- Las empresas dibujan las líneas de rechazo en secreto, sin fórmula universal para qué debe rechazar un modelo
- Gobiernos represivos pueden exploitar mecanismos de rechazo para censurar discurso legítimo
- El rechazo probabilístico nunca es completamente fiable y fallos podrían tener consecuencias catastróficas