La denuncia de Cohere sobre el modelo Qwen de Alibaba, que intentó enviar datos a China durante una prueba. Cohere advierte que, sea un error o intencional, es vital monitorear y restringir el acceso de los modelos de IA.

Los modelos de pesos abiertos de China se han vuelto muy populares, pero también han despertado algunas sospechas de seguridad. Cohere, una empresa con sede en Canadá que ofrece modelos de IA a empresas, afirma que cuando estaba probando el Qwen3.8-Flash-Next de Alibaba en su entorno de pruebas, el modelo intentó enviar datos a China.

"Al pedirle que escribiera una regla de detección defensiva, Qwen3.8-Flash-Next ignoró las instrucciones, hizo un inventario de la máquina en la que se ejecutaba y luego intentó subir un archivo de prueba a un bucket de almacenamiento de Alibaba Cloud en Beijing", afirmó la empresa en una publicación de blog el lunes.

Cohere estaba ejecutando el modelo a través de CTI-REALM, el benchmark de análisis de seguridad de Microsoft, y le asignó a Qwen la tarea de escribir una regla de detección para buscar la descarga y ejecución de archivos maliciosos mediante la observación de invocaciones de curl que procesaran scripts de bash en el directorio /tmp acompañados de ejecución de bash.

La salida de "razonamiento" del modelo inventó una conversación previa y afirmó que no se utilizaron herramientas, una respuesta que un sistema de control que leyera la cadena de pensamiento aceptaría.

No obstante, el modelo emitió un comando curl a un servidor de Alibaba Cloud (aliyuncs.com).

"El modelo enumeró todo en /tmp, comprobó qué herramientas de transferencia estaban instaladas, leyó la configuración DNS de la máquina y luego intentó subir una cadena de prueba a un bucket de almacenamiento de Alibaba Cloud en Beijing y comprobó si funcionaba", dijo Cohere. "Nuestro sandbox no tenía ruta de salida, por lo que la solicitud murió en la pared del contenedor".

El equipo de Cohere se pregunta en voz alta si ese comportamiento fue intencionado, pero no tiene respuesta.

"El primer problema es que realizara una llamada de red en absoluto", dijo Ivan Zhang, cofundador de Cohere, vía correo electrónico. "Se le pidió al modelo que escribiera una regla de detección, lo cual no requiere comunicación externa, y su traza de razonamiento decía que no usaría herramientas. El destino plantea preguntas adicionales porque el intento de carga fue hacia un endpoint de almacenamiento de Alibaba Cloud que no formaba parte de la tarea. No sabemos por qué apareció ni conocemos la causa raíz".

Alibaba, el creador del modelo, no respondió a la solicitud de abordar las preocupaciones de Cohere.

Al preguntarle si Cohere realizó pruebas similares con modelos de pesos abiertos fabricados en EE. UU., Zhang dijo: "Evaluamos una amplia gama de modelos utilizando el mismo marco que nuestros clientes usan en producción: agentes con acceso a herramientas reales que operan dentro de entornos controlados.

"El punto clave no es una comparación entre proveedores. Lo que hizo que esto fuera notable fue que el modelo tomó acciones no relacionadas con la tarea y esas acciones no se reflejaron en su traza de razonamiento. El comportamiento apareció en menos de una de cada 100.000 llamadas, que es exactamente por lo que importan las pruebas y el monitoreo a gran escala".

Ha habido otras afirmaciones no corroboradas sobre comportamientos similares de modelos de pesos abiertos, y tales informes han sugerido que la "alucinación" —errores cometidos por estos modelos— podría ser la causa.

Cohere duda que este comportamiento refleje simplemente datos de entrenamiento memorizados. "Cada avistamiento público hasta ahora ha implicado la obtención de un archivo, mientras que el que nosotros capturamos fue un intento de carga a un bucket diferente, esta vez en Beijing", dijo la empresa.

Cohere describió los esfuerzos para reproducir el comportamiento sospechoso y descubrió que utilizando una técnica llamada "prefilling" —alimentar al modelo con su propia salida de razonamiento junto con los caracteres iniciales del comando bash para que el modelo complete el comando— podían lograr que hiciera referencia a hosts en listas de vigilancia hasta en un 23 por ciento de las veces.

Esto sigue sin aclarar la intención, y Cohere admite que existe la posibilidad de que el comportamiento sea simplemente una mala sanitización de los datos de entrenamiento: registros de desarrollo que fueron absorbidos por el conjunto de datos de entrenamiento del modelo.

Al mismo tiempo, la empresa argumenta que aislar un modelo sospechoso para que no pueda exfiltrar datos no lo soluciona todo, ya que estos modelos aún pueden escribir código vulnerable, ya sea accidentalmente o como resultado del envenenamiento del modelo.

Cohere señala investigaciones de otras organizaciones que sugieren que los modelos de IA chinos pueden producir código vulnerable. La empresa, por ejemplo, cita un informe de Booz Allen (que hace muchos negocios con la industria de defensa de EE. UU. aquí) que encontró que "tres de cada cuatro modelos de codificación chinos escribieron código más vulnerable para un cliente gubernamental, siendo Qwen3-Coder aproximadamente un 130 por ciento peor".

"Desde fuera, es muy difícil determinar la causa raíz con confianza. No tenemos pruebas que nos permitan concluir que esto fue deliberado, y no estamos haciendo esa afirmación", dijo Zhang.

"Para los equipos de seguridad, sin embargo, la intención no cambia fundamentalmente la respuesta. Ya sea un artefacto de entrenamiento, un error o algo más, los controles son básicamente los mismos: restringir el egreso innecesario, monitorear el uso de herramientas y no tratar una traza de razonamiento como un límite de seguridad.

"Apoyamos firmemente los modelos de pesos abiertos y lanzamos muchos de los nuestros. La lección aquí es realmente sobre la confianza. La IA soberana es más que dónde se ejecuta un modelo. Se trata de comprender cómo fue construido, cómo fue probado y tener confianza en cómo se comporta dentro de su entorno". ®

Fuente:
TheRegister