Entradas Mensuales

Síguenos en:

Canal Oficial Telegram de elhacker.NET Grupo Facebook elhacker.NET Twitter elhacker.NET Canal Youtube elhacker.NET Comunidad Steam: Grupo elhacker.NET Mastodon

Entradas populares

PostHeaderIcon Investigadores vulneran cuenta de Hugging Face del popular modelo Kokoro AI


Investigadores lograron tomar el control del modelo de texto a voz "Kokoro" en Hugging Face aprovechando la falta de verificación de propiedad de la plataforma. Demostraron que es posible alterar los pesos neuronales del modelo para modificar el audio generado sin introducir código malicioso, lo que lo hace indetectable para los escáneres de malware. Este hallazgo pone en evidencia un riesgo crítico de seguridad en la cadena de suministro de la IA, ya que Hugging Face no valida a sus editores ni los archivos cargados.





Una falta de verificación de propiedad en la plataforma Hugging Face permitió que investigadores tomaran el control de Kokoro, un modelo de texto a voz utilizado en proyectos de Google, NVIDIA, AMD, Intel y Amazon Web Services.

Un atacante que secuestrara la cuenta podría usarla como un canal de distribución en ataques a la cadena de suministro, lo que potencialmente conduciría al robo de datos o a la ejecución de código.

Sin embargo, los investigadores demostraron un ataque más sigiloso: modificaron los pesos del modelo para que produjera un audio diferente al texto de entrada, sin cambiar el código de la aplicación subyacente.



Debido a que solo cambian los pesos, no hay código malicioso ni firmas que los escáneres de malware puedan detectar, según los investigadores.

"Cambiamos lo que dice este modelo ajustando sus pesos neuronales. Mismo texto de entrada. Mismo archivo de voz. Misma configuración. Mismo código de inferencia; no se tocó una sola línea en la aplicación que lo ejecuta", afirmó el analista de seguridad Alon Hertz.

Kokoro es un modelo de pesos abiertos que convierte texto en voz. Soporta múltiples idiomas y tiene más de 50 preajustes de voz.

Aunque su desarrollador, Hexgrad, no ha publicado una actualización desde abril de 2025, el proyecto sigue siendo popular, con casi 13 millones de descargas mensuales en Hugging Face. El repositorio de GitHub y el paquete de Python en PyPI también quedaron inactivos aproximadamente al mismo tiempo.

Kokoro cuenta con el soporte de herramientas de desarrollo de Google, NVIDIA e Intel, incluyendo software para agentes de voz y síntesis de voz en el dispositivo. AMD y Amazon Web Services también han publicado guías que demuestran su uso en flujos de trabajo de agentes de IA.

Hertz y su equipo tomaron el control de la cuenta de Kokoro en Hugging Face simplemente registrando el dominio utilizado por el propietario original y restableciendo la contraseña de inicio de sesión.

Durante el pasado fin de semana, los investigadores registraron el dominio “hexgrad.com” que aparecía en el archivo público DONATE.md de Kokoro y lo utilizaron para realizar un restablecimiento de contraseña en la cuenta del editor.

Luego realizaron una prueba controlada en la que modificaron los pesos del modelo de Kokoro en 87 segundos utilizando una GPU de juegos, provocando que el modelo produjera una salida envenenada.

Hertz afirma en este artículo que el equipo probó el modelo de Kokoro modificado localmente utilizando su canal de inferencia normal, pero nunca subieron los pesos modificados a Hugging Face, ya que eso probablemente pondría en riesgo muchos sistemas de producción que dependen del modelo.

El investigador subraya que una actualización seguiría teniendo todas las características de un lanzamiento legítimo, ya que las pruebas desde otra cuenta mostraron que Hugging Face no marcaría nada como sospechoso.

A pesar de la toma de control, el editor parecía el mismo, al igual que la ruta de entrega de archivos, el formato y la arquitectura. Los tamaños de los archivos serían similares y el lanzamiento no contendría malware.


un problema de confianza más amplio



El investigador señala que el riesgo en la cadena de suministro proveniente de cuentas de editores comprometidas que distribuyen pesos alterados a través de actualizaciones rutinarias en sistemas que obtienen automáticamente nuevas revisiones es significativo.

Kokoro fue solo un ejemplo de alto perfil que el equipo utilizó para resaltar el problema.

Hertz dice que incluso las cuentas no secuestradas podrían representar un riesgo, ya que cualquiera puede curar una imagen ostensiblemente legítima durante un tiempo y luego lanzar una actualización maliciosa en algún momento.

“Hugging Face no investiga a los editores. No verifica si una cuenta sigue perteneciendo a su propietario original y legítimo, o a quienquiera que la haya tomado en silencio la semana pasada. No investiga los modelos ni los conjuntos de datos que esas cuentas cargan”, dice Hertz.

“Los mismos pesos y conjuntos de datos no verificados fluyen a través de espejos y versiones convertidas, lanzamientos de GitHub, registros de paquetes, guías de despliegue y descargas directas en todo el ecosistema de modelos abiertos”, añadió el investigador.

Hertz informó del problema a Hugging Face, esperando una acción rápida, pero no recibió respuesta.

Fuente:
BleepingComputer