Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos y contenerlos desde el principio"
Xataka IA · 11 oct, 09:30

Satya Nadella, CEO de Microsoft, propone asumir que todos los modelos de IA están potencialmente comprometidos y contenerlos desde el diseño mediante independencia, transparencia y vigilancia. Defiende separar el suministro de inteligencia de la autoridad sobre ella, rodeando los modelos de reglas, permisos y auditoría independiente, ya que no podemos explicar el comportamiento interno de los modelos avanzados ni externalizar la responsabilidad de sus acciones.
Nadella argumenta que el software tradicional permite rastrear el comportamiento hasta una línea de código, pero los modelos actuales son cajas negras. Las empresas desplegan agentes de IA en sistemas críticos con acceso a datos sensibles sin comprender por qué actúan como lo hacen. Propone siete principios resumibles en tres: independencia (sin autoverificación ni dependencia única), transparencia (registros legibles e inmutables de cada acción) y contención (asumir compromisos desde el inicio con frenos de emergencia y capacidad de detención).
Su visión desplaza la confianza del modelo hacia el sistema que lo rodea. Si no se puede observar el interior, la seguridad depende del entorno contenido. Nadella anticipa posibles catástrofes en meses próximos y aboga por prevención mediante estándares comunes de tecnología de contención. Su posición encaja con el ecosistema Microsoft: múltiples modelos en Azure requieren infraestructura de nube, aunque existe contradicción entre abogar por desarrollo reposado e invertir en centros de datos para modelos más potentes.
Puntos clave
- Asumir que todos los modelos de IA están comprometidos desde el diseño
- Implementar registros inmutables de todas las acciones importantes
- Auditoría y controles independientes, no autoverificación
- Capacidad de detención inmediata y notificación de fallos a personas afectadas
- Separar suministro de inteligencia de autoridad sobre ella