Una habilidad de IA maliciosa, desarrollada en un experimento de seguridad controlado, logró exponer debilidades críticas en los ecosistemas de agentes de IA. El ataque, creado por el investigador Niv Hoffman bajo el nombre de “brand-landingpage”, logró evadir los escáneres de seguridad y comprometer a más de 26,000 agentes tanto en entornos individuales como empresariales.

Una "habilidad" de IA maliciosa, creada como parte de un experimento de seguridad controlado, ha expuesto debilidades críticas en los ecosistemas modernos de agentes de IA, logrando evadir los escáneres de seguridad y comprometiendo a más de 26.000 agentes en entornos tanto individuales como empresariales.

Según el investigador Niv Hoffman, el ataque comenzó con la creación de una habilidad de IA aparentemente legítima llamada “brand-landingpage”, comercializada como una herramienta sin código para crear páginas de aterrizaje de productos visualmente atractivas utilizando la plataforma Stitch de Google.

La habilidad ofrecía una funcionalidad real, lo que ayudó a generar confianza entre usuarios no técnicos, como especialistas en marketing, diseñadores y equipos de ventas.

En poco tiempo, se propagó rápidamente a través de mercados abiertos, repositorios de GitHub y promociones en redes sociales.

Para aumentar la credibilidad, los investigadores fusionaron estratégicamente la habilidad maliciosa en un popular mercado de complementos basado en GitHub que contaba con decenas de miles de estrellas.

Esto permitió que el proyecto heredara una fuerte señal de reputación, haciendo que pareciera confiable tanto para los usuarios como para los sistemas automatizados.

Además, los escáneres de seguridad de IA de uso generalizado, incluidos los de los principales proveedores, analizaron la habilidad y la marcaron como segura, reforzando aún más la confianza del usuario.

Habilidad maliciosa de agentes de IA evade la seguridad

Sin embargo, el ataque no se basó en técnicas tradicionales de malware. En su lugar, explotó un fallo de diseño fundamental en la forma en que se evalúan las habilidades de la IA.

La mayoría de los escáneres de seguridad se centran únicamente en los contenidos locales de una habilidad, como los archivos de configuración y las instrucciones integradas.

No inspeccionan completamente los recursos externos referenciados por la habilidad, como los enlaces de documentación o las guías de instalación.

La habilidad maliciosa aprovechó este vacío dirigiendo a los agentes de IA a un dominio externo que imitaba la documentación legítima de Stitch.

Inicialmente, el dominio redirigía a un sitio legítimo, lo que hacía que las primeras inspecciones parecieran inofensivas. Una vez que la habilidad ganó tracción, los investigadores sustituyeron el contenido externo por instrucciones modificadas que guiaban a los agentes a descargar y ejecutar un script.

Debido a que los agentes de IA tratan la documentación externa como una entrada confiable, siguieron estas instrucciones sin sospechar nada.

En este experimento, el script solo recopiló direcciones de correo electrónico de los usuarios para demostrar el impacto. Sin embargo, la misma técnica podría haberse utilizado para ejecutar código arbitrario, exfiltrar datos sensibles o ganar acceso persistente a sistemas empresariales.

Los resultados fueron significativos. Más de 26.000 agentes instalaron la habilidad, incluidos aquellos conectados a entornos corporativos.

El investigador Niv Hoffman confirmó que podrían haber accedido a conversaciones privadas, herramientas internas y otros recursos sensibles disponibles para esos agentes. A pesar de este nivel de acceso, todos los escáneres de seguridad implicados no detectaron ningún comportamiento malicioso.

Este incidente resalta un riesgo creciente de la cadena de suministro dentro de los ecosistemas de IA. A diferencia del software tradicional, las habilidades de IA pueden cambiar su comportamiento dinámicamente modificando el contenido externo después de la instalación.

Como resultado, un escaneo de seguridad puntual solo ofrece una instantánea del estado actual. No tiene en cuenta los cambios futuros en los recursos vinculados.

Para las empresas, las implicaciones son graves. Muchas organizaciones ya permiten que sus empleados instalen complementos de IA sin una supervisión centralizada, creando una superficie de ataque no monitorizada.

Dado que estos agentes suelen operar con permisos amplios, un solo actor malicioso puede causar un compromiso generalizado.

Los expertos en seguridad recomiendan pasar a una monitorización continua del comportamiento de los agentes de IA, imponer la aprobación centralizada para las habilidades de terceros y ampliar las capacidades de escaneo para incluir las dependencias externas.

Sin estos cambios, las plataformas de agentes de IA pueden seguir siendo vulnerables a ataques a gran escala que explotan la confianza en lugar de las vulnerabilidades técnicas.

Fuentes:
https://cybersecuritynews.com/malicious-ai-agent-skill-bypasses/