Además, permite que los equipos de red y los respondedores de incidentes reproduzcan cualquier hallazgo de seguridad de la IA para garantizar que los agentes se comporten como se pretende y que las mitigaciones de seguridad funcionen según lo previsto.

"Ya es hora de que dejemos de hablar de la seguridad de la IA como una filosofía y empecemos a pensar en la seguridad de la IA como una disciplina de ingeniería", dijo Ram Shankar Siva Kumar, el "cowboy de datos" de Microsoft y fundador de su equipo rojo de IA.

Microsoft ha estado utilizando RAMPART internamente y, aunque Kumar dijo que no podía proporcionar detalles específicos, nos contó que un investigador de seguridad encontró un problema y luego el equipo rojo de Redmond utilizó RAMPART para probar dicha falla en toda la aplicación de IA agéntica.

"RAMPART fue capaz de tomar ese vector particular y encontrar cerca de 100 variantes diferentes de ese vector", dijo Kumar. "Y luego pudimos usar RAMPART para analizar esencialmente este activo y ver si esto funcionaba, no solo una vez, ni dos veces, sino cerca de 300 veces. También pudimos hacerlo en el contexto de conversaciones de varios turnos".

El marco de pruebas también permitió a los desarrolladores implementar mitigaciones en el producto.

"Nuevamente pudieron usar RAMPART para ver si esa remediación realmente resistía, no solo contra un vector, el cual encontró el investigador de seguridad, sino contra múltiples variaciones de esos vectores", explicó Kumar. "Esto está empoderando a nuestros respondedores de incidentes y también a nuestros ingenieros".

La segunda herramienta de IA que Microsoft abrió el miércoles es un agente llamado Clarity, y está diseñado para servir como un "tablero de resonancia estructurado que ayuda a los equipos a determinar si están construyendo lo correcto antes de escribir una sola línea de código", según un blog del miércoles que Kumar escribió sobre las dos nuevas herramientas.

Por ejemplo, supongamos que un desarrollador quiere añadir colaboración en tiempo real a un editor de documentos. Se lo comunica a Clarity y el agente responde con preguntas similares a las que "preguntarían arquitectos experimentados, gestores de productos e ingenieros de seguridad", según Microsoft.

Las respuestas de Clarity, como se muestra en una captura de pantalla en GitHub: "Antes de diseñar eso, ¿qué sucede cuando dos personas editan el mismo párrafo al mismo tiempo? ¿Necesitas tiempo real puro (cursores, presencia), o es 'que nadie pierda el trabajo' el requisito real? Eso conduce a arquitecturas muy diferentes".

La herramienta de IA básicamente pretende responder qué problema está intentando resolver el desarrollador con una aplicación y qué podría salir mal, y "discutir" estos problemas antes de que comience la codificación.

"Es intrínsecamente colaborativo", dijo Kumar. "Ayuda al equipo a dar un paso atrás y decir: 'Oye, antes de construir esto, ¿estamos yendo en la dirección correcta? Porque el código es barato. Se tarda un chasquido de dedos en generar un sistema completo. ¿Estamos haciendo esto de una manera que tenga sentido?'".

Fuente:
TheRegister