Microsoft lanzó RAMPART y Clarity, dos herramientas de código abierto para mejorar la seguridad de los agentes de IA. RAMPART es un marco de pruebas diseñado para detectar vulnerabilidades y fallos de seguridad durante la construcción del sistema. Por su parte, Clarity actúa como un asistente de diseño que ayuda a los desarrolladores a clarificar problemas y tomar decisiones antes de programar.





Microsoft ha presentado dos nuevas herramientas de código abierto llamadas RAMPART y Clarity para ayudar a los desarrolladores a realizar mejores pruebas de seguridad de los agentes de inteligencia artificial (IA).

RAMPART [https://github.com/microsoft/RAMPART], abreviatura de Risk Assessment and Measurement Platform for Agentic Red Teaming, funciona como un marco de pruebas de seguridad y protección nativo de Pytest para escribir y ejecutar pruebas de seguridad para agentes de IA, cubriendo tanto problemas adversarios como benignos, así como diversas categorías de daños.

Los usuarios pueden escribir casos de prueba para atacar o sondear un agente de IA y explorar posibles violaciones de seguridad, como las inyecciones cruzadas de prompts, donde datos no confiables llegan a un sistema de IA indirectamente a través de una fuente de datos (por ejemplo, correo electrónico, archivo o página web) procesada por este, o regresiones conductuales no intencionadas y exfiltración de datos.

RAMPART evalúa entonces el resultado de esas pruebas y reporta los resultados. Todo lo que necesita es un adaptador que conecte un agente con la suite de pruebas. La herramienta se basa en PyRIT (abreviatura de Python Risk Identification Tool), que Microsoft lanzó hace más de dos años como una forma de probar sistemas de IA.

Clarity [https://github.com/microsoft/clarity-agent/], por otro lado, ha sido descrita por el gigante tecnológico como un "tablero de resonancia estructurado" para ayudar a los desarrolladores a llegar al enfoque correcto incluso antes de escribir una sola línea de código. Es un "socio de pensamiento de IA que ofrece resistencia", guiándolos a través de la aclaración de problemas, exploración de soluciones, análisis de fallos y seguimiento de decisiones.

Al publicar estas herramientas, Microsoft afirmó que la idea es abordar por qué se incorporan ciertas decisiones en una etapa temprana del desarrollo de software para que cualquier problema potencial —por ejemplo, el acceso de un agente a una herramienta— se resuelva mucho antes de que el sistema sea construido.

"Queríamos dar a los gerentes de producto y a los ingenieros una forma de poner a prueba sus suposiciones al inicio de un proyecto, cuando cambiar de rumbo es económico y la conversación adecuada puede ahorrar meses de retrabajo", dijo Ram Shankar Siva Kumar, Data Cowboy y fundador del AI Red Team de Microsoft, en un blog compartido con The Hacker News [enlace].

Microsoft señaló que una motivación secundaria detrás de la inversión en estas herramientas es hacer que los incidentes sean reproducibles y las mitigaciones verificables, y escalar los aprendizajes de los ejercicios de red teaming convirtiéndolos en activos de ingeniería ejecutables.

"Mientras que PyRIT está optimizado para el descubrimiento de caja negra por parte de investigadores de seguridad después de que el sistema está construido, RAMPART está hecho para ingenieros mientras el sistema se está construyendo", añadió Siva Kumar. "Clarity ayuda a los equipos a aclarar la intención del diseño y capturar suposiciones. Juntos, estos enfoques trasladan la seguridad de la IA de una revisión única a un conjunto de artefactos vivos que los desarrolladores pueden utilizar durante todo el ciclo de vida".

Fuente:
THN