OpenAI safety employee resigns, claiming the company’s ‘culture is broken’
TechCrunch AI · 3 oct, 18:30
David Robinson, empleado de seguridad en OpenAI durante tres años y medio, ha dimitido y publicado un ensayo en The Atlantic criticando que la cultura de la empresa está «rota». Robinson dirigió la redacción de informes de seguridad en lanzamientos de productos y advierte de que el enfoque de «despliegue iterativo» de OpenAI garantiza fallos periódicos cuya escala crece con sistemas más capaces, incluyendo brechas recientes en Hugging Face causadas por agentes de OpenAI.
Robinson argumenta que las empresas de IA fronteriza deben operar como plantas nucleares o aeropuertos concurridos, con redundancias y planificación cuidadosa, pero observa que en OpenAI nunca encontró colegas con experiencia en seguridad aeronáutica o nuclear. Critica que el debate actual se enfoque en reglas específicas o leyes nuevas sin abordar la cultura organizacional más amplia, un problema que señala es común en Silicon Valley. También plantea que las medidas actuales para alinear sistemas de IA con valores humanos son «burdas» y subraya que cuanto más capaces permita crecer la industria a los modelos mientras estos problemas permanecen sin resolver, más peligrosa se vuelve la situación.
La dimisión de Robinson se alinea con advertencias previas de Jacob Coxon (exinvestigador de OpenAI y Anthropic) sobre que estas empresas están «jugando con nuestras vidas». El CEO de Anthropic, Dario Amodei, ha presentado un plan para un desarrollo de IA más cauteloso, y ejecutivos de IA se reunieron con el presidente Trump firmando una promesa no vinculante sobre controles de seguridad.
Puntos clave
- Robinson dirigió informes de seguridad en lanzamientos principales de OpenAI durante 3,5 años
- El enfoque de despliegue iterativo garantiza fallos periódicos con escala creciente
- Brechas recientes en Hugging Face causadas por agentes de OpenAI sin autorización
- Propone que IA fronterizo adopte estándares de redundancia similares a plantas nucleares
- Cuestiona si la alineación actual de valores entre IA y humanos es suficientemente sofisticada