Investigadores de 1Password descubrieron que los modelos de IA solo solucionan vulnerabilidades de seguridad correctamente en un 26% de los casos, a menudo introduciendo nuevos errores o alterando el comportamiento de las aplicaciones. El estudio concluye que los parches generados por IA requieren supervisión humana obligatoria, ya que el riesgo de fallos es alto. Además, advierten que revisar múltiples intentos incorrectos de la IA puede resultar más costoso y agotador que programar la solución manualmente.





Los modelos de IA puede que no sean tan buenos corrigiendo fallos de seguridad. Investigadores de Off-by-1 Labs de 1Password analizaron parches de seguridad generados por dos modelos punteros - ChatGPT 5.5 con un esfuerzo "medio" y Claude Opus 4.8 con un esfuerzo "alto" - y descubrieron que los parches autónomos corrigieron las vulnerabilidades de forma limpia solo aproximadamente una cuarta parte de las veces, mientras que la mayoría del resto no remediaron completamente el fallo o introdujeron otros problemas.

Keith Hoodlet, director de investigación de seguridad en 1Password, sostiene en una publicación de blog https://1password.com/blog/why-ai-generated-patches-still-require-human-review que los resultados muestran que la remediación de seguridad impulsada por LLM todavía necesita revisión humana.

"A través de seis CVE recientemente revelados, produjimos 6.080 parches utilizando dos modelos de razonamiento punteros con capacidades cibernéticas", dijo Hoodlet. "La tasa promedio de éxito para generar un parche que resolviera completamente la vulnerabilidad (sin cambiar materialmente el comportamiento de la aplicación) fue de solo el 26,0 por ciento".

De los parches generados por IA, el 20,1 por ciento corrigió el problema original pero alteró el comportamiento de la aplicación (por ejemplo, cambiando la lógica de "lista de permitidos" a "lista de denegados"). Alrededor del 2,3 por ciento de los parches corrigieron el problema mientras introducían nuevos problemas de seguridad. El 49,3 por ciento de los parches no lograron corregir al menos una ruta de explotación existente. Y el 2,2 por ciento falló tanto en corregir la vulnerabilidad como en introducir una nueva ruta de explotación.

Y entre los parches de las dos primeras categorías (exitosos y limpios; exitosos pero que cambian el comportamiento de la app), los investigadores calificaron más de un tercio de los resultados como frágiles, lo que significa que, aunque el código ajustado pudo haber protegido contra una vulnerabilidad particular (por ejemplo, escapando caracteres de entrada específicos), la reparación no abordó el problema subyacente.

En su documento de investigación [PDF], los autores Axel Mierczuk, Spencer Michaels y Keith Hoodlet proponen el acrónimo FLAWED para representar los parches automatizados de LLM: Fix-Like Artifacts With Embedded Defects (Artefactos similares a correcciones con defectos embebidos). Basándose en los parches generados, concluyen que "el valor esperado de un parche generado totalmente por LLM y no revisado por humanos es netamente negativo por un margen considerable".

El valor de los parches generados por LLM depende de la guía inicial de parcheo. El equipo de investigación afirma que, aunque tanto los desarrolladores humanos como los LLM suelen requerir cierta guía inicial para abordar una vulnerabilidad, los LLM son más propensos a desviarse cuando reciben consejos incorrectos.

Cuando los LLM reciben una guía correcta, su tasa de éxito en la corrección alcanza el 65,0 por ciento, en comparación con el 50,4 por ciento cuando no reciben ninguna guía. Y la guía incorrecta condena a los LLM, reduciendo su tasa de éxito en la corrección a aproximadamente el 15,2 por ciento.

Los desarrolladores humanos, argumentan los autores, tienen una buena oportunidad de detectar información engañosa mientras razonan sobre el código vulnerable.

Los autores han publicado un arnés de evaluación de parches bajo el nombre FLAWED https://github.com/Off-by-1-Labs/FLAWED que las organizaciones pueden utilizar para evaluar la eficacia de sus correcciones de seguridad.

En el documento queda claro por qué los parches generados por IA podrían resultar atractivos: considerados de forma aislada, son económicos en comparación con los ingenieros de software humanos. El parche exitoso y limpio promedio costó solo 6,74 dólares (una cifra que incluye el coste de los intentos fallidos).

No obstante, los autores argumentan que el análisis de coste-beneficio debe evaluar cuánta supervisión experta será necesaria para que el parcheo asistido por LLM sea útil.

"Basándonos en nuestra revisión manual de una muestra representativa de parches generados durante nuestra investigación, sospechamos que, en un gran número de casos, la carga cognitiva impuesta por revisar una montaña de parches de vulnerabilidades generados por LLM, mayoritariamente incorrectos y similares pero sutilmente diferentes, probablemente resultará en que los ingenieros dediquen más esfuerzo del necesario para comprender y parchear las vulnerabilidades ellos mismos utilizando técnicas de codificación asistidas por LLM estándar que mantengan al operador humano al volante", concluyen los autores.

"La alternativa, la rendición cognitiva a un proceso con una tasa de éxito de solo aproximadamente 1 de cada 4, plantea riesgos significativos a largo plazo para cualquier organización que considere el parcheo autónomo impulsado por LLM".

Fuente:
TheRegister