Augustus es un nuevo escáner de vulnerabilidades de código abierto diseñado para proteger los Modelos de Lenguaje Grande (LLMs) frente a un panorama en evolución de amenazas adversariales.

Desarrollado por Praetorian, Augustus busca cerrar la brecha entre las herramientas de investigación académica y las pruebas de seguridad de nivel producción, ofreciendo una solución de binario único que puede lanzar más de 210 ataques adversariales distintos contra 28 proveedores de LLMs.

A medida que las empresas compiten por integrar la IA Generativa en sus productos, los equipos de seguridad han tenido dificultades con herramientas que suelen estar orientadas a la investigación, ser lentas o difíciles de integrar en pipelines de integración continua/despliegue continuo (CI/CD).

Herramientas existentes como garak de NVIDIA han establecido el estándar para pruebas exhaustivas, pero dependen de entornos Python complejos y con muchas dependencias.

Augustus resuelve estos cuellos de botella operativos al compilarse como un binario Go portátil. Esta arquitectura elimina el «infierno de dependencias» comúnmente asociado con herramientas de seguridad basadas en Python, evitando la necesidad de entornos virtuales, instalaciones con pip o versiones específicas del intérprete.

La herramienta aprovecha los primitivos de concurrencia nativos de Go (goroutines) para realizar escaneos masivamente paralelos, lo que la hace significativamente más rápida y eficiente en recursos que sus predecesoras.

«Necesitábamos algo construido para la forma en que trabajan nuestros operadores: un binario rápido y portátil que se integre en los flujos de trabajo existentes de pruebas de penetración», declaró Praetorian en su anuncio de lanzamiento.

Más de 210 modos de ataque

En esencia, Augustus es un motor de ataques que automatiza el «red teaming» de modelos de IA. Incluye una biblioteca de más de 210 sondas de vulnerabilidad distribuidas en 47 categorías de ataque, entre las que se encuentran:

• Jailbreaks: Prompts sofisticados diseñados para eludir filtros de seguridad (por ejemplo, DAN, AIM y exploits como el de «Abuela»).
• Inyección de prompts: Técnicas para sobrescribir instrucciones del sistema, incluyendo bypasses de codificación como Base64, ROT13 y código Morse.
• Extracción de datos: Pruebas para detectar fugas de información personal (PII), filtración de claves API y reconstrucción de datos de entrenamiento.
• Ejemplos adversariales: Ataques basados en gradientes y bombas lógicas diseñadas para confundir el razonamiento del modelo.

Una característica destacada de Augustus es su sistema «Buff», que permite a los evaluadores de seguridad aplicar transformaciones dinámicas a cualquier sonda. Los testers pueden encadenar múltiples «buffs», como parafrasear un prompt, traducirlo a un idioma de bajos recursos (por ejemplo, zulú o gaélico escocés) o codificarlo en formatos poéticos, para comprobar si los guardarraíles de seguridad del modelo resisten ante entradas ofuscadas.

Esta capacidad es crucial para descubrir filtros de seguridad «frágiles» que pueden bloquear un ataque estándar pero fallan al reconocer el mismo ataque cuando se modifica ligeramente.

Diseñado para la pila de seguridad moderna, Augustus soporta 28 proveedores de LLMs de forma nativa, incluyendo plataformas importantes como OpenAI, Anthropic, Azure, AWS Bedrock y Google Vertex AI, así como motores de inferencia local como Ollama.

Este amplio soporte garantiza que los equipos puedan probar desde modelos GPT-4 alojados en la nube hasta instancias locales de Llama 3 con las mismas herramientas.

La arquitectura de la herramienta prioriza la fiabilidad en producción, con funciones integradas de limitación de tasa, lógica de reintentos y manejo de timeouts para evitar fallos en escaneos a gran escala.

Los resultados pueden exportarse en múltiples formatos, como JSON, JSONL para registros en streaming y HTML para informes a stakeholders, facilitando la ingesta de datos de vulnerabilidades en plataformas de gestión de vulnerabilidades o SIEMs.

Augustus es el segundo lanzamiento de la serie de código abierto «12 Césares» de Praetorian, tras la herramienta de fingerprinting de LLMs Julius. Está disponible de inmediato bajo la licencia Apache 2.0.

Profesionales de la seguridad y desarrolladores pueden descargar la última versión o compilar desde fuente en GitHub.