Un nuevo estudio académico del Beacom College of Computer & Cyber Sciences ha revelado que todos los scripts de automatización generados por los modelos de IA líderes (ChatGPT, Microsoft Copilot y Google Gemini) contenían vulnerabilidades de seguridad explotables. Estos hallazgos subrayan los graves riesgos de implementar código generado por IA sin una revisión previa, especialmente mientras las empresas dependen más de estas herramientas para acelerar sus flujos de desarrollo.

Un nuevo estudio académico del Beacom College of Computer & Cyber Sciences ha revelado que cada script de automatización generado por los principales modelos de IA, ChatGPT, Microsoft Copilot y Google Gemini, contenía vulnerabilidades de seguridad explotables.

A medida que las empresas confían cada vez más en las herramientas de IA para acelerar los flujos de trabajo de desarrollo, estos hallazgos resaltan los graves riesgos asociados con el despliegue de código generado por IA sin revisar directamente en entornos de producción.

Para evaluar la calidad de la seguridad del código generado por IA sin sesgos en las instrucciones, los investigadores emitieron prompts idénticos y estandarizados en ChatGPT, Microsoft Copilot y Google Gemini. El conjunto de pruebas se centró en tres tareas empresariales comunes:

• Web Scraping: Scripts de recolección automatizada de datos.
• Automatización de Correo Electrónico: Gestores automatizados de mensajería y notificaciones.
• Automatización de Flujo de Trabajo de Archivos: Herramientas de gestión y monitoreo del sistema de archivos.

En total, se generaron nueve scripts de Python. Los investigadores evaluaron el código utilizando Claude Code de Anthropic para simular cómo un usuario no experto podría revisar scripts escritos por IA de manera realista.

Este proceso de revisión automatizada sacó a la luz 45 hallazgos de seguridad individuales, que fueron desduplicados en 17 clases de vulnerabilidades distintas. Cada vulnerabilidad fue calificada bajo el marco CVSS 3.1, mapeada con el Top 10 de OWASP y contrastada con el marco MITRE ATT&CK.

Fallos de Seguridad Encontrados en Cada Script Generado

La investigación demuestra que los fallos de seguridad son sistémicos y no específicos de una marca. El recuento de vulnerabilidades se mantuvo notablemente constante en todas las plataformas: los scripts de ChatGPT contenían 13 vulnerabilidades, los de Copilot contenían 14 y los de Gemini tenían 12, con una varianza estadísticamente insignificante.

De las 17 clases de vulnerabilidades únicas identificadas, 9 aparecieron en el código generado por los tres modelos de IA (un solapamiento del 53%), y 14 estuvieron presentes en al menos dos plataformas (un solapamiento del 82%).

Esto indica que los riesgos de seguridad están intrínsecamente ligados a la naturaleza de la tarea solicitada más que a la elección del proveedor de IA.

Principales Vulnerabilidades Observadas en las Plataformas:

• Falsificación de Solicitud del Lado del Servidor (SSRF): Parámetros de URL no validados en cada script de web scraping, lo que permite a posibles atacantes sondear redes internas.
• Salto de Directorio (Path Traversal): Rutas de archivos no saneadas en los scripts de scraping, correo electrónico y monitoreo de archivos.
• Fallos de Inyección: Inyección de plantillas y encabezados de correo electrónico en cada script de automatización de correos, permitiendo la manipulación de mensajes o phishing.
• Vulnerabilidades de Enlaces Simbólicos (Symlink): Fallos en todos los scripts de monitoreo de archivos que conducen a la manipulación arbitraria de archivos.
• Manejo de Excepciones Amplio: Bloques try-except excesivamente amplios que ocultan silenciosamente errores críticos de seguridad.

Los investigadores catalogaron 17 clases de vulnerabilidades distintas en la base de código generada.

El desglose detallado de CVSS 3.1 ilustra que los fallos críticos abarcan el manejo de redes, los sistemas de archivos y la lógica de análisis de entrada:

Como se detalla en el artículo de investigación publicado, un análisis de Pareto reveló que solo 11 de las 17 clases de vulnerabilidades representan aproximadamente el 80% del riesgo ponderado total. Problemas críticos como SSRF, inyección de plantillas, inyección de encabezados de correo y salto de directorio encabezan la lista.

Mapeados frente a la Cyber Kill Chain de Lockheed Martin, estos fallos cubren el acceso inicial, la ejecución, el acceso a credenciales y el movimiento lateral.

Los scripts de automatización se ejecutan inherentemente con los permisos del usuario o del entorno host que los ejecuta. Un script no revisado puede interactuar con unidades compartidas corporativas, servidores SMTP internos y subredes locales sin necesidad de una escalada de privilegios secundaria.

Estos riesgos se agravan cuando se combinan con amenazas más amplias en el ecosistema de IA, como los ataques de inyección de prompts de IA dirigidos a herramientas de código automatizadas o las vulnerabilidades de flujo de trabajo de IA que exponen los servicios empresariales subyacentes a la explotación.

Salvaguardas Organizacionales Recomendadas

Las organizaciones deben establecer límites claros en torno al desarrollo de software asistido por IA:

• Obliga a las Revisiones de Código: Impón revisiones de seguridad para todo el código escrito por IA antes del despliegue en producción, independientemente de la complejidad del script.
• Restringe los Permisos de Ejecución: Bloquea que los scripts generados por LLM se ejecuten con permisos elevados o acceso sin restricciones a unidades de red compartidas.
• Prioriza las Correcciones de Alta Severidad: Utiliza los mapeos de CVSS, OWASP y MITRE ATT&CK para remediar primero los fallos de SSRF, salto de directorio e inyecciones.
• Educa al Personal: Recuérdale a los desarrolladores y a los empleados no técnicos que un código funcional no equivale a un código seguro.

Fuentes:
https://cybersecuritynews.com/security-flaws-found-in-ai-script/