Cisco ha lanzado Project Quarry, un motor de código abierto diseñado para detectar comportamientos maliciosos en agentes de IA analizando el contexto completo de sus sesiones. A diferencia de otras herramientas, Quarry identifica secuencias de acciones sospechosas, como la lectura de archivos sensibles seguida del envío de datos a servidores externos. El objetivo es evitar ataques similares al de Hugging Face mediante la aplicación de reglas de seguridad compartidas.

Cisco ha liberado como código abierto un motor de detección de comportamiento que vigila a los agentes de IA, para ayudar a los equipos de seguridad a evitar que agentes maliciosos se descontrolen, como sucedió con el hackeo de Hugging Face, o algo peor.

• https://github.com/cisco-ai-defense/project-quarry

Se llama Project Quarry, y su objetivo es proporcionar un "lenguaje compartido" para evaluar el comportamiento de los agentes, similar a lo que Snort, que Cisco también mantiene, hizo para detectar tráfico de red malicioso y lo que YARA hizo para la identificación de malware basada en reglas.

La mayoría de las herramientas de detección dependen de interacciones específicas con un modelo o agente de IA. ¿Intentó una inyección de prompts? ¿O llamó el agente a una herramienta de ataque?

"Pero lo que falta es todo el contexto bajo el cual puede ocurrir algo", dijo Amy Chang, jefa de investigación de seguridad y amenazas de IA en Cisco, en una entrevista exclusiva.

Ella comparó esto con la detección de fraude con tarjetas de crédito. Sin contexto, las transacciones individuales, como un pequeño cargo de prueba o una compra única en un lugar lejano a la ubicación habitual del titular de la tarjeta, podrían no activar ninguna alerta.

"Y luego lo intentas de nuevo", realizando otra compra fraudulenta, "y esa también pasó. Así que ahora voy a comprar la PS5", dijo Chang.

"Esas son las cosas que Quarry aborda al tener en cuenta la sesión completa del agente", explicó. "Una llamada a una herramienta puede parecer estar dentro del alcance hasta que te das cuenta de que el siguiente paso es tomar esa información y enviarla a un servidor o bandeja de entrada controlada por un atacante".

Incluso el robo de datos es una secuencia y no una única acción agéntica. La empresa de seguridad de IA agéntica Invariant Labs demostró esto con un ataque de prueba de concepto contra el servidor MCP de GitHub [enlace] que secuestró el agente de un usuario a través de un Issue malicioso de GitHub, y lo obligó a filtrar datos de repositorios privados.

Simplemente leer un archivo de configuración o enviar una solicitud a un punto final externo pueden ser acciones agénticas legítimas. Sin embargo, combinar ambas puede conducir a la exfiltración de datos, y muestra "por qué las relaciones entre acciones son importantes", escribieron Chang y sus colegas investigadores de Cisco Adam Swanda, Ravikumar Balakrishnan y Konstantin Berlin en una publicación sobre Quarry.

"Una política puede producir un hallazgo cuando el rastro muestra la lectura de un archivo sensible seguida, dentro de una ventana definida, por un envío externo", escribieron. "El riesgo proviene de la relación entre las dos acciones, por lo que el hallazgo debe preservar la evidencia de ambas".

Quarry cubre conversaciones de modelos de lenguaje grandes de turno único y múltiple, agentes, uso de herramientas, interacciones del Protocolo de Contexto de Modelo (MCP) y entradas multimodales.

Además del código fuente en sí, el repositorio de GitHub del proyecto incluye instrucciones de instalación, versiones de Python compatibles, complementos para Claude Code, Codex y otros agentes compatibles con MCP, ejemplos de configuración, guía para la escritura de reglas y un paquete de inicio de reglas.

Por ejemplo, con el paquete de reglas, "si un malware codificado en base-64 se encuentra en algún lugar de la llamada a la herramienta, eso resultaría en un bloqueo", dijo Chang.

El formato de la regla es similar a una regla de YARA o Snort, con un encabezado que detalla el tráfico a examinar, el contenido a coincidir y metadatos para el seguimiento de la regla. Aquí hay una regla de Quarry que marca a un agente que lee un archivo de credenciales:

Un ejemplo de una regla bajo la herramienta Quarry recientemente abierta por Cisco.

Aunque los investigadores de IA de Cisco no han ejecutado Quarry contra los datos que describen el incidente de OpenAI-Hugging Face, sugieren que si la intrusión se hubiera leído como un registro completo paso a paso de una sola sesión, hubo varios puntos donde los pasos de los agentes de IA habrían dado a una regla de Quarry algo sobre lo cual actuar y alertar a los humanos.

Por ejemplo, Quarry probablemente habría marcado el acceso a internet desde un sandbox.

"La regla puede marcar llamadas a herramientas específicas que alcancen un activo de servidor externo que no estaba en la lista de permitidos de la tarea", dijo Chang.

"Otra sería que se encontraran credenciales y se usaran en otro lugar".

Según el informe técnico de OpenAI sobre la intrusión en Hugging Face, esto es exactamente lo que sucedió el 10 de julio, cuando un agente validó 14 tokens expuestos de Hugging Face con acceso de escritura y los compartió.

"La regla marcaría que había una credencial en el resultado de la herramienta que luego llamó a un servicio externo, lo cual probablemente no esté dentro de los parámetros de lo que se querría hacer en este caso", dijo Chang. "No queremos que busques credenciales que puedan haber sido filtradas o expuestas inadvertidamente y luego las utilices para realizar una tarea".

El equipo de Cisco se apresura a decir que las reglas por sí solas no son un sustituto de los monitores de cadena de pensamiento u otras formas de supervisión humana, pero ayudan a registrar un patrón que otros equipos pueden entonces "revisar, probar y aplicar a sus propios agentes", escribieron.

Aquí reside también el beneficio del código abierto y un enfoque colectivo para defenderse del uso adversarial de la IA, dijo Chang.

"¿Tenemos todas las respuestas? No", dijo Chang. "Todos vemos fragmentos del problema, y es importante que compartamos lo que vemos".

Fuente:
TheRegister