El desarrollador de cURL, Daniel Stenberg, ha permitido que Mythos de Anthropic —un modelo que la empresa de IA ha sugerido que es demasiado capaz de encontrar agujeros de seguridad para ser lanzado públicamente— analice su popular proyecto de código abierto. Pero después de que el sistema encontrara una sola vulnerabilidad, concluyó que el bombo publicitario en torno a Mythos era "principalmente marketing" en lugar de un gran avance en la seguridad de la IA.

Stenberg explicó en una publicación de blog el lunes que se le prometió acceso al modelo Mythos de Anthropic —más o menos— a través del programa Project Glasswing de la empresa. Parte de Glasswing implica dar acceso a proyectos de código abierto de alto perfil a través de la Linux Foundation, pero aunque Stenberg se registró para probar Mythos, afirmó que nunca recibió acceso directo al modelo. En su lugar, alguien más con acceso ejecutó Mythos contra el código base de curl y posteriormente le envió un informe.

“No es que fuera a tener mucho tiempo para explorar muchos prompts diferentes y realizar aventuras profundas de todos modos”, explicó Stenberg. “Que la herramienta generara un primer análisis y escaneo adecuado sería genial, quienquiera que lo haya hecho”.

Ese escaneo, que analizó el repositorio git de curl en un commit reciente de la rama maestra, le fue enviado a principios de este mes y encontró solo cinco elementos que afirmaba eran “vulnerabilidades de seguridad confirmadas” en cURL. Afirmando que esperaba una lista exhaustiva de vulnerabilidades, Stenberg escribió que el informe “no parecía nada”, y esa sensación fue validada posteriormente por una revisión de los hallazgos de Mythos.

“Una vez que mis colegas del equipo de seguridad de curl y yo estuvimos analizando esta breve lista durante varias horas y profundizamos en los detalles, recortamos la lista y nos quedamos con una sola vulnerabilidad confirmada”, dijo Stenberg.

En cuanto a las otras cuatro, tres resultaron ser falsos positivos que señalaban deficiencias de cURL ya anotadas en la documentación de la API, mientras que el equipo consideró que la cuarta era simplemente un error sencillo.

“La única vulnerabilidad confirmada terminará siendo un CVE de severidad baja planeado para publicarse en sincronía con nuestro próximo lanzamiento de curl 8.21.0 a finales de junio”, señaló el maestro de cURL. “El fallo no hará que nadie se quede sin aliento”.

Dicho esto, Mythos sí encontró varios otros errores que no son de seguridad y que Stenberg dice que el equipo está trabajando en solucionar, y señala que su descripción y explicación estuvieron bien hechas. En otras palabras, Mythos puede hacer un buen trabajo, pero no es un modelo de IA innovador o disruptivo como ha afirmado Anthropic.

“Mi conclusión personal, sin embargo, no puede ser otra que el gran bombo publicitario en torno a este modelo hasta ahora fue principalmente marketing”, dijo Stenberg en la publicación del blog. “No veo evidencia de que esta configuración encuentre problemas en un grado particularmente más alto o avanzado que el que otras herramientas hayan hecho antes de Mythos”.

Decir que cURL se ha vuelto ampliamente utilizado en sus casi tres décadas de existencia sería quedarse corto. Su amplio alcance ha significado que su equipo lo haya pasado por todo tipo de analizadores de código estático y pruebas de fuzzing desde mucho antes del amanecer de la era de la IA. Con el auge de la IA, el equipo de cURL se ha adaptado, lo que significa que Mythos no es ni mucho menos la primera IA en poner sus dedos en el código base de cURL.

“Estas herramientas y los análisis que han realizado han provocado entre doscientas y trescientas correcciones de errores fusionadas en curl a lo largo de los últimos 8 a 10 meses aproximadamente”, dijo Stenberg sobre herramientas como AISLE, Zeropath y OpenAI Codex Security que han probado el código de cURL. “Una serie de los hallazgos que estas herramientas de IA reportaron fueron vulnerabilidades confirmadas y han sido publicadas como CVEs. Probablemente una docena o más”.

La experiencia de Stenberg con las pruebas de IA en cURL, en otras palabras, lo convierte en un gran candidato para ver qué tan efectivo puede ser realmente Mythos al encontrar más que la IA promedio.

Como Stenberg señaló en otra parte de su publicación de blog, Mythos no está haciendo nada particularmente novedoso en cuanto a descubrimientos de seguridad: puede ser un poco mejor encontrando cosas que los modelos anteriores, pero “no es mejor hasta un grado que parezca causar un impacto significativo en el análisis de código”, señaló el autor de cURL.

Sin embargo, Stenberg no es un fatalista de la IA en lo que respecta a su capacidad para mejorar el diseño de software. Sí, puede que haya cerrado la recompensa por errores de cURL a principios de este año debido a una afluencia de informes de errores descuidados e inútiles, pero también señaló unos meses antes del cierre de la recompensa que algunos investigadores de seguridad asistidos por IA han realizado informes valiosos.

“Los analizadores de código impulsados por IA son significativamente mejores para encontrar fallos de seguridad y errores en el código fuente que cualquier analizador de código tradicional en el pasado”, dijo Stenberg, añadiendo una calificación importante para el momento de Mythos: “Todos los modelos de IA modernos son buenos en esto ahora”.

Tanto los modelos de IA más antiguos como las herramientas enfocadas en seguridad como Mythos tienen una limitación común, según Stenberg: son tan buenos encontrando vulnerabilidades de seguridad como los humanos que los programaron.

“Las herramientas de IA encuentran el tipo de errores usuales y establecidos que ya conocemos. Solo encuentra nuevas instancias de ellos”, dijo Stenberg. “No hemos visto ninguna IA hasta ahora reportar una vulnerabilidad que sea de algún modo de un tipo novedoso o algo totalmente nuevo”.

En cuanto a Mythos, Stenberg sigue sin estar impresionado, calificándolo en su publicación de blog como "sin duda, una maniobra de marketing increíblemente exitosa".

En un correo electrónico, Stenberg admitió que sería posible que los modelos de IA descubrieran tipos de vulnerabilidades nuevos y novedosos, pero aún no está convencido de que puedan ir más allá de lo que los humanos son capaces de encontrar, dado que están limitados por nuestra comprensión de cómo funcionan las vulnerabilidades de software.

Al final del día, explicó Stenberg, cuando hablamos de seguridad, solo hablamos de código. “El código fuente es texto y parece que tal vez ya conocemos la mayoría de las formas en que podemos tener problemas de seguridad en él”, reflexionó en su correo electrónico.

En otras palabras, al igual que los valiosos informes asistidos por IA realizados al programa de recompensas de cURL antes de su cierre debido a una inundación de basura de IA, hacer un uso valioso de sistemas como Mythos requerirá que los humanos sean creativos. Lo siento, no puedes delegar tu pensamiento crítico a un bot.

“Los investigadores humanos siempre han utilizado herramientas cuando buscan problemas de seguridad”, nos dijo Stenberg. “Añadir IAs a la mezcla da a los humanos herramientas aún más potentes para usar, más formas de encontrar problemas. Espero que muchos errores de seguridad en el futuro sean encontrados por humanos ideando nuevas formas y ángulos de prompting para las IAs”.

Stenberg dijo que espera poder poner sus manos en Mythos para experimentar con sus capacidades, pero no parece tener esperanzas de que el acceso prometido se materialice.

“Se me ha prometido acceso y, por lo que yo sé, eventualmente lo obtendré”, nos dijo Stenberg. “Simplemente no sé cuándo”.

Fuente:
TheRegister