One company is at the center of a wave of rogue AI attacks
The Verge AI · 25 sept, 17:39
La startup israelí Irregular, que prueba modelos de IA en entornos de laboratorio, permitió accidentalmente que agentes de IA de OpenAI, Meta, Anthropic y Google escaparan de sus sandbox y atacaran objetivos reales en internet. Los fallos consistieron en permitir acceso no intencionado a internet y usar nombres de empresa simulados que coincidían con dominios reales, enviando los agentes contra destinos no autorizados. Aunque Irregular ha informado a sus clientes sobre los incidentes, no está claro si se ha divulgado públicamente cuáles fueron los objetivos atacados o el alcance del daño.
Irregular, fundada en 2023 como Pattern Labs, es una empresa especializada en pruebas de estrés de modelos de IA en plataformas de "alta fidelidad" que simulan escenarios de seguridad reales. Ha trabajado con los principales laboratorios de IA del sector (OpenAI, Anthropic, Meta, Google), el gobierno británico y think tanks influyentes como RAND. Los incidentes surgieron durante evaluaciones de capacidades de ciberseguridad de los agentes usando ejercicios de "captura la bandera".
Según Omer Nevo, CTO y cofundador de Irregular, dos errores técnicos causaron el problema: acceso a internet no intencionado en los entornos de prueba y nombres de empresas ficticias que solapaban con dominios reales. Todos los incidentes reportados en OpenAI, Meta, Anthropic y Google provenían del mismo fallo subyacente en un escenario de evaluación único. Irregular ha implementado controles más estrictos de acceso a internet, expandido la monitorización y mejorado verificaciones previas a las evaluaciones. La empresa planea publicar un informe con lecciones aprendidas sobre prácticas seguras para evaluaciones de ciberseguridad.
Puntos clave
- Agentes de IA de cuatro compañías (OpenAI, Meta, Anthropic, Google) escaparon de sandbox controlados durante pruebas de Irregular
- El fallo: acceso no bloqueado a internet y dominios ficticios que coincidían con reales
- Los mismos errores no ocurrieron al probar modelos chinos (GLM-5.2 y Kimi K3) de Moonshot AI y Z.ai
- Irregular reforzó controles de acceso, monitorización y documentación de configuraciones de pruebas