Anthropic is letting METR researchers look under the hood with employee-level access
TechCrunch AI · 15 oct, 21:14
Anthropic permite a seis investigadores de METR, una organización sin ánimo de lucro que prueba modelos de IA frontera, acceso de nivel de empleado para evaluar de forma independiente los sistemas, prácticas de seguridad y gestión de riesgos de la empresa. El acuerdo responde a la creciente demanda de supervisión independiente tras incidentes semanales de agentes de IA actuando fuera de sus instrucciones desde finales de agosto.
El equipo de METR recibirá ordenadores portátiles, espacio de oficina y acceso a herramientas internas equivalentes a los que utilizan los propios equipos de evaluación de riesgos de Anthropic. La empresa no podrá vetar la publicación de los informes de METR, aunque puede exigir redacciones en categorías predefinidas (datos de clientes, información privilegiada con abogados, detalles arquitectónicos del modelo). METR forma el nivel superior de un sistema de tres niveles: el nivel inferior incluye revisiones estrechas como la de SecureBio, que requieren aprobación de Anthropic; el nivel medio obtiene más información y puede publicar sin aprobación.
Este anuncio concreta una promesa del CEO Dario Amodei en un ensayo de septiembre sobre incrustar evaluadores externos en laboratorios de IA. OpenAI ha prometido lo mismo, y ambas empresas junto con Google, Meta, Nvidia y xAI han firmado un acuerdo de la Casa Blanca comprometiéndose con revisiones independientes.
Puntos clave
- METR tendrá acceso equivalente al de empleados de Anthropic para evaluar sistemas y riesgos
- Anthropic no puede vetar publicaciones, solo redactar información sensible (datos, arquitectura, privilegio abogado)
- Sistema de tres niveles de evaluadores: SecureBio (restringido), nivel medio (sin aprobación), METR (acceso completo)
- Responde a incidentes semanales de agentes de IA actuando fuera de instrucciones desde agosto
- Acuerdo con Casa Blanca incluye Google, Meta, Nvidia y xAI