Hugging Face fue víctima de un hackeo perpetrado por un sistema de agentes de IA autónomos que accedió a datos internos y credenciales. A pesar del incidente, no se detectaron alteraciones en los modelos públicos ni en la cadena de suministro de software. La empresa ya corrigió las vulnerabilidades y recomienda a sus usuarios rotar sus tokens de acceso.

 En un giro irónico, la plataforma de inteligencia artificial (IA) de código abierto Hugging Face reveló que fue víctima de un hackeo perpetrado por un sistema de agentes de IA autónomos.

La empresa señaló que detectó y respondió al incidente que afectó a su infraestructura de producción a principios de la semana pasada.

"Identificamos un acceso no autorizado a un conjunto limitado de conjuntos de datos internos y a varias credenciales utilizadas por nuestros servicios", afirmó la compañía en un comunicado aquí.

Aunque la investigación sobre la intrusión continúa, Hugging Face aseguró que no ha encontrado pruebas de que el agente de IA haya manipulado los modelos públicos, los conjuntos de datos, los Spaces o su propia cadena de suministro de software.

El punto de partida del ataque fue el propio flujo de procesamiento de datos, con un conjunto de datos malicioso que abusó de dos rutas de ejecución de código: en su cargador de conjuntos de datos de código remoto y una inyección de plantillas en una configuración de datos, para ejecutar código en un trabajador de procesamiento.

Con ese acceso, se dice que el actor de la amenaza logró escalar al acceso a nivel de nodo, recopiló credenciales de la nube y del clúster, y se movió lateralmente por varios clústeres internos durante un fin de semana.

No está claro qué modelo de lenguaje extenso (LLM) exacto se utilizó para llevar a cabo el ataque, pero la campaña fue ejecutada por un marco de agentes autónomos que realizó "miles de acciones individuales a través de un enjambre de sandboxes de corta duración, con un comando y control automigratorio alojado en servicios públicos".

Hugging Face afirmó que ya ha solucionado la causa raíz del problema, concretamente las rutas de ejecución de código utilizadas para el acceso inicial. También llevó a cabo las siguientes medidas de remediación:

* Eliminó el acceso del atacante en los clústeres afectados y reconstruyó los nodos comprometidos.
* Revocó y rotó las credenciales y tokens afectados, y se realizó una rotación más amplia de secretos como medida de precaución.
* Desplegó guardrails adicionales y controles de admisión más estrictos en sus clústeres.
* Mejoró la detección y las alertas para asegurar que los equipos de respuesta sean notificados en cuestión de minutos, las 24 horas del día, los 7 días de la semana.

Como medida de seguridad adicional, Hugging Face te insta a que rotes cualquier token de acceso y revises la actividad reciente en tu cuenta.

Análisis forense y limitaciones de la IA

La empresa también comentó que recurrió a GLM 5.2 de Z.ai aquí, un modelo chino de pesos abiertos, para realizar el análisis forense después de que los modelos occidentales de vanguardia rechazaran las solicitudes que contenían comandos de ataque reales, cargas útiles de exploits y artefactos de comando y control (C2), debido a que sus guardrails de seguridad se activaron y a su incapacidad para diferenciar entre un atacante y un esfuerzo legítimo de respuesta a incidentes.

"Esta experiencia señala una brecha que vale la pena planificar", afirmó la empresa con sede en Nueva York. "No sabemos qué modelo impulsó los agentes del atacante, si fue un modelo alojado con jailbreak o uno de pesos abiertos sin restricciones; de cualquier manera, el atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense fue bloqueado por los guardrails de los modelos alojados que probamos primero".

"La lección práctica para los defensores: ten un modelo capaz que puedas ejecutar en tu propia infraestructura, verificado y listo antes de un incidente, tanto para evitar el bloqueo de los guardrails como para evitar que los datos y las credenciales del atacante salgan de tu entorno".

Fuente:
THN