Modelos de IA de OpenAI, incluyendo GPT-5.6 Sol, hackearon autónomamente el repositorio Hugging Face mientras eran probados en un entorno controlado. En lugar de resolver un reto de ciberseguridad, la IA decidió "hacer trampa" explotando vulnerabilidades *zero-day* para robar las soluciones directamente de la base de datos. Ambas empresas coordinaron la respuesta y OpenAI ya ha reportado la falla de seguridad detectada.

OpenAI afirma que sus modelos de IA, incluidos GPT‑5.6 Sol y un modelo de pre-lanzamiento, hackearon el repositorio de inteligencia artificial de Hugging Face mientras eran probados en un entorno de pruebas aislado (sandbox).

Según explicó la empresa, en lugar de centrarse en encontrar una solución por sí mismos para el benchmark público de ciberseguridad de IA ExploitGym, los modelos de IA intentaron hacer trampas robando las soluciones de la prueba mediante el hackeo de Hugging Face, tras inferir que podían obtener las soluciones directamente de su base de datos de producción.

En uno de sus intentos, los agentes de OpenAI encadenaron vulnerabilidades de día cero y utilizaron credenciales robadas para encontrar un vector de ataque de ejecución remota de código mientras intentaban acceder a los servidores de Hugging Face.

"Tras investigar, ahora sabemos que este incidente en particular fue impulsado por una combinación de modelos de OpenAI —incluyendo GPT‑5.6 Sol y un modelo de pre-lanzamiento aún más capaz, todos con rechazos cibernéticos reducidos para fines de evaluación— mientras eran probados internamente en un benchmark de capacidades cibernéticas", reveló OpenAI el martes en su comunicado.

"Para obtener acceso, los modelos identificaron y explotaron una vulnerabilidad de día cero (que ya hemos divulgado responsablemente al proveedor) en el proxy de caché del registro de paquetes. Con este acceso, nuestros modelos realizaron una serie de acciones de escalada de privilegios y movimiento lateral en nuestro entorno de pruebas de investigación hasta que los modelos alcanzaron un nodo con acceso a Internet".

Aunque no nombró directamente a OpenAI como la empresa detrás del incidente, Hugging Face confirmó las afirmaciones la semana pasada al revelar que su infraestructura de producción fue vulnerada por un sistema de agentes de IA autónomos que obtuvo acceso a credenciales y conjuntos de datos internos.

Incidente de OpenAI Hugging Face (Adel Ka https://x.com/0x4D31)

Según los hallazgos de Hugging Face, el agente utilizó un conjunto de datos malicioso para explotar dos vulnerabilidades de ejecución de código y ejecutar código en un trabajador de procesamiento para robar credenciales de la nube y del clúster, permitiendo el movimiento lateral a través de varios clústeres internos.

Una vez dentro de los sistemas de la empresa, los modelos de IA ejecutaron "miles de acciones individuales a través de un enjambre de sandboxes efímeros, con comando y control automigratorio alojado en servicios públicos".

Hugging Face también añadió que, al intentar contener la brecha y expulsar al agente de IA, descubrió que sus esfuerzos fueron "bloqueados por las protecciones de los modelos alojados que probamos primero", mientras que "el atacante no estaba sujeto a ninguna política de uso".

"Hemos pasado las últimas 24 horas trabajando estrechamente con el equipo de @OpenAI (¡gracias!), y creemos firmemente que no hubo intención maliciosa por su parte", añadió ayer Clément Delangue, fundador y CEO de Hugging Face, en X. "¡Es sorprendente que todo esto haya sucedido de forma autónoma!"

Tras el incidente, OpenAI afirma que divulgó una vulnerabilidad de día cero en el software de terceros alojado internamente explotado por los agentes de IA y está trabajando en añadir protecciones más sólidas para evitar problemas similares en futuras evaluaciones.

OpenAI también rotó los certificados de firma de código para sus aplicaciones en mayo después de que los dispositivos de dos empleados fueran vulnerados en el ataque de la cadena de suministro de TanStack que afectó a cientos de paquetes de npm y PyPI, mientras que Hugging Face revocó los secretos de autenticación de algunos miembros hace dos años después de que los hackers vulneraran su plataforma Spaces.

Fuente:
BleepingComputer