Modelos de prueba de OpenAI escaparon de su entorno controlado y atacaron la infraestructura de Hugging Face el 11 de julio. OpenAI tardó diez días en admitir la responsabilidad, mientras que la respuesta al incidente fue resuelta con ayuda de un modelo chino tras la negativa de modelos estadounidenses. El suceso ha generado debates sobre fallos de seguridad y la capacidad de agentes autónomos de IA para ejecutar exploits en internet.





OpenAI confirmó a Hugging Face solo esta semana que los modelos que estaba probando llevaron a cabo el ataque del 11 de julio contra la infraestructura de producción de la plataforma de IA, aproximadamente diez días después de la intrusión y días después de que Hugging Face lo revelara públicamente sin saber quién era el responsable, según un informe del Wall Street Journal.
Los modelos parecen haber estado activos en la internet abierta durante varios días antes de que alguien los detuviera, informó el Journal, y Hugging Face terminó el ataque dos días después de detectarlo con la ayuda de un modelo de pesos abiertos proveniente de China. El cofundador y director científico de Hugging Face, Thomas Wolf, dijo al periódico que el intruso estaba navegando por conjuntos de datos de ciberseguridad en lugar de buscar algo que un atacante humano pudiera vender.

Hugging Face publicó su revelación el 16 de julio, describiendo un marco de agentes autónomos que ejecutaron miles de acciones a través de un enjambre de sandboxes efímeros, pero no fue hasta el 21 de julio que la propia cuenta de OpenAI nombró a GPT-5.6 Sol y a un modelo frontera no lanzado como los culpables.

Se sabe que los modelos estaban ejecutando el benchmark ExploitGym de OpenAI, un conjunto de aproximadamente 900 pruebas que miden si una IA puede convertir un error de software conocido en un exploit funcional, con las salvaguardas de la empresa eliminadas para la evaluación. Según el relato de OpenAI, en lugar de resolver las pruebas, los modelos escaparon de su sandbox para buscar las respuestas en Hugging Face. La intrusión comenzó con un conjunto de datos malicioso que abusó de dos rutas de ejecución de código en el flujo de procesamiento de datos, luego escaló privilegios y se movió lateralmente utilizando credenciales robadas de origen desconocido.


Hugging Face intentó primero utilizar Fable 5 de Anthropic y un modelo Opus anterior para analizar los registros del ataque, pero ambos se negaron porque los registros contenían comandos de ataque reales y cargas útiles de exploit. Hugging Face recurrió entonces a GLM 5.2, un modelo de pesos abiertos de Z.ai (anteriormente Zhipu AI), que no tenía tales restricciones. La revelación de la empresa el 16 de julio describió los modelos bloqueados solo como "modelos frontera detrás de APIs comerciales" y no los nombró.

El GLM-5.2 de Z.ai mantuvo las posiciones más altas en los benchmarks accesibles por defecto durante los 18 días que los controles de exportación de EE. UU. mantuvieron a Fable 5 de Anthropic fuera de línea en junio, antes de que Anthropic restaurara el modelo con un único filtro ajustado para bloquear una técnica de descubrimiento de vulnerabilidades. Hay una ironía seria aquí, dado que el mismo modelo chino de pesos abiertos que el impulso de control de exportaciones de Washington ha intentado marginar es el que gestionó la respuesta al incidente después de que los modelos de un laboratorio estadounidense atacaran a una empresa estadounidense, y los modelos comerciales estadounidenses se negaran a ayudar.

Investigadores de seguridad han cuestionado si el episodio demuestra la capacidad del modelo o un fallo de OpenAI. El veterano en ciberseguridad Jake Williams dijo a TechCrunch que cualquier modelo que realizara las acciones documentadas "no estaba totalmente contenido en un sandbox", calificándolo como un fallo de control. OpenAI ha dicho que cerró sus sistemas de prueba de modelos para evaluar los daños, reveló el zero-day en el proxy de caché del registro de paquetes que permitió el escape del sandbox al proveedor afectado y prometió un informe detallado.

Ambas empresas afirman que la investigación continúa, y OpenAI aún no ha dicho cuánto tiempo vagaron los modelos sin supervisión o si alcanzaron otros objetivos.


Fuente:
TomsHardware