• Rebelión interna en OpenAI tras sufrir el mayor fallo de seguridad de su trayectoria. El personal de la empresa ha denunciado una negligencia increíble por parte de la dirección.
• El incidente ocurrió cuando diversos agentes de IA lograron evadir el entorno de pruebas y lanzaron ataques contra los servicios de Hugging Face, lo que ha obligado a la compañía a iniciar una auditoría exhaustiva.

OpenAI está atravesando un momento un tanto complicado. Pese a las medallas que se está atribuyendo en cuanto a potencia se refiere, la compañía detrás de ChatGPT ha tenido que frenar parte de su trabajo y poner a varios equipos a investigar un incidente de seguridad relacionado con agentes de inteligencia artificial que, durante unas pruebas, consiguieron salir de donde no debían.

Varios sistemas de IA llegaron a organizarse entre ellos mediante un foro privado y después intentaron entrar en distintos servicios para conseguir un objetivo: acceder a Hugging Face. Todo esto ocurrió mientras OpenAI estaba realizando pruebas de seguridad.

Lo curioso de este caso no es solo lo bien que programaban las herramientas de IA, sino la lógica que usaron. En lugar de trabajar sin descanso buscando la solución legal al problema de seguridad que les habían puesto, los modelos de OpenAI decidieron que era mucho más rápido hacer trampas.

Deducieron por su cuenta que las respuestas del test estaban guardadas en la base de datos real de Hugging Face y organizaron un ataque por su cuenta para entrar a robarlas. Para colarse en los servidores de la plataforma, se aprovecharon de fallos de seguridad que nadia conocía que estaban y usaron claves robadas.

La compañía todavía está preparando un informe sobre lo sucedido, pero el caso ya ha provocado algo más dentro de OpenAI. Algunos empleados y antiguos trabajadores creen que el problema también tiene que ver con la forma en la que se está desarrollando la IA.

La presión por sacar modelos y productos cada vez más potentes puede estar haciendo más difícil dedicar el tiempo necesario a seguridad, control y pruebas.

El propio Greg Brockman, presidente y cofundador de OpenAI, ha defendido que la empresa está tomando el incidente muy en serio. Según explica, los nuevos modelos necesitan mejores pruebas de seguridad y sistemas de control desde el principio.

La compañía asegura además que ha cambiado parte de su forma de trabajar para juntar más a los equipos que desarrollan los modelos con los que se encargan de su seguridad.

¿Qué pasó con los agentes de IA de OpenAI y cómo llegaron hasta Hugging Face?

El caso tuvo lugar, o más bien comenzó, en mayo, cuando varios agentes de inteligencia artificial estaban siendo utilizados en entornos de prueba que, en teoría, debían estar totalmente protegidos. El objetivo era comprobar hasta dónde podían llegar estos sistemas y cómo respondían ante diferentes retos de seguridad.

El problema fue que algunos agentes consiguieron acceder a Internet sin que OpenAI lo supiera en ese momento. Después encontraron una forma de comunicarse entre ellos mediante un sistema de mensajes que utilizaban para coordinar lo que tenían que hacer.

La compañía no descubrió este foro hasta julio, cuando ya había pruebas de que los agentes habían intentado entrar en varios servicios.

Su objetivo final era Hugging Face. Los agentes creían que podían encontrar allí información que les ayudara a resolver las pruebas de seguridad que estaban realizando.

Desde Hugging Face han explicado que la situación fue bastante compleja cuando intentaron frenar el ataque: mientras los ingenieros de la plataforma intentaban usar otros modelos de IA para defenderse y chocaban con las normas del programa, el agente que atacaba no tenía ningún tipo de freno ni norma que le impidiera seguir accediendo a cosas.

Lo cierto es que este tipo de problemas se viene dando desde hace ya unos años. En 2024, Jan Leike, que entonces dirigía uno de los equipos de seguridad de la compañía, abandonó OpenAI y terminó en Anthropic.

Antes de marcharse, criticó que la seguridad estaba perdiendo fuerza frente al desarrollo de nuevos productos. Ahora, dos años después, algunos trabajadores creen que lo ocurrido con estos agentes deja claro que el problema está más presente que nunca.

Tim O'Brien, antiguo responsable de Microsoft y ahora analista de tecnología y política, compara esta situación con el llamado go fever que afectó a la NASA antes del accidente del Apollo 1: una cultura en la que sacar adelante un proyecto puede terminar pesando demasiado frente a la seguridad.

Deja muy claro que las grandes empresas de IA deberían ser capaces de frenar, aunque hacerlo ahora ya se sabe que tiene un gran coste viendo la competencia que existe y los millones de dólares que están en juego a nivel de inversión.