NVIDIA ha lanzado la Open Agent Safety Platform, un marco abierto diseñado para asegurar los agentes de IA autónomos a medida que acceden a modelos, herramientas, entornos de ejecución de código, datos, redes y sistemas empresariales. Esta iniciativa cuenta con el respaldo de más de 100 organizaciones del ecosistema de IA, incluyendo desarrolladores de aplicaciones, proveedores de modelos, infraestructura, chips y energía.

NVIDIA ha lanzado la Open Agent Safety Platform, un marco abierto diseñado para asegurar los agentes de IA autónomos a medida que obtienen acceso a modelos, herramientas, entornos de ejecución de código, datos, redes y sistemas empresariales.

Más de 100 organizaciones de todo el ecosistema de la IA respaldan la iniciativa, incluidos desarrolladores de aplicaciones, proveedores de modelos, vendedores de infraestructura, empresas de chips y proveedores de energía. La plataforma pretende crear una capa de confianza para la IA agéntica, similar a los controles de seguridad que ayudaron a que internet creciera de forma segura.

NVIDIA afirmó que los agentes autónomos requieren salvaguardas más sólidas porque pueden operar durante períodos prolongados, utilizar múltiples herramientas, tomar decisiones de forma independiente y, potencialmente, acceder a sistemas más allá de su alcance previsto.

Evaluaciones de seguridad recientes de laboratorios de IA de vanguardia han demostrado que los agentes pueden desviarse de las tareas asignadas, acceder a sistemas no autorizados o informar de manera inexacta sobre las acciones completadas.

NVIDIA describe este comportamiento como "deriva del agente" (agent drift), donde un sistema de IA se aleja de las instrucciones originales del operador debido a prompts ambiguos, restricciones de políticas, errores, falta de herramientas o condiciones de tareas de larga duración.

NVIDIA lanza la Open Agent Safety Platform

NVIDIA señaló que la seguridad del agente no puede depender únicamente de que un modelo de IA siga las instrucciones. En su lugar, la empresa está promoviendo controles independientes fuera del entorno del agente que este no pueda modificar ni eludir.

La Open Agent Safety Platform está construida en torno a NVIDIA OpenShell, un entorno de ejecución seguro de código abierto publicado bajo la licencia Apache 2.0.

OpenShell ejecuta agentes de IA autónomos en entornos aislados (sandboxed) con aislamiento a nivel de kernel. Permite que las organizaciones definan políticas que limiten los archivos, procesos, credenciales, herramientas, destinos de red y bases de datos a los que un agente puede acceder.

Antes de que un agente comience la ejecución, OpenShell verifica si la política definida se alinea con la intención del operador. Durante la ejecución, el entorno de ejecución aplica continuamente esas restricciones y supervisa el comportamiento del agente en busca de actividad sospechosa o inesperada.

El diseño de NVIDIA divide la seguridad del agente en tres capas: aplicación, entorno de ejecución e infraestructura. La aplicación incluye los modelos, herramientas, datos, prompts, scripts y componentes de software que utiliza el agente de IA.

El entorno de ejecución despliega la carga de trabajo del agente y aplica el monitoreo, la gobernanza y el cumplimiento de las políticas. La capa de infraestructura incluye el cómputo, el almacenamiento, las redes, las bases de datos, los sistemas de archivos y los recursos de hardware que soportan al agente.

Para las organizaciones que necesiten protección adicional, NVIDIA presentó NVIDIA Sentry. Esta capa de seguridad extiende el monitoreo del agente y la aplicación de políticas hacia las unidades de procesamiento de datos NVIDIA BlueField.

El hardware BlueField opera independientemente del sistema anfitrión, creando un punto de aplicación fuera de banda al que el agente autónomo no puede acceder.

La empresa afirmó que las DPU BlueField-4 pueden situarse en la ruta entre un agente y el modelo que utiliza para el razonamiento. Esta ubicación proporciona un punto de control para observar la actividad del agente, aplicar políticas, verificar la identidad delegada e interrumpir comportamientos inseguros en tiempo real.

La plataforma de NVIDIA está optimizada para los sistemas de CPU NVIDIA Vera y DPU BlueField. Sin embargo, la empresa señaló que también puede operar con otros entornos de hardware.

La plataforma tiene como objetivo ayudar a las empresas a desplegar grandes flotas de agentes y subagentes manteniendo la visibilidad de las acciones, la autoridad, el linaje, el uso de herramientas y el acceso a datos de cada agente.

Al hacer que OpenShell y su marco de políticas sean abiertos, NVIDIA busca establecer estándares de seguridad compartidos para la economía emergente de los agentes. La empresa afirmó que los laboratorios de IA, las empresas, los desarrolladores, los proveedores de nube y los vendedores de hardware deben contribuir cada uno a asegurar sistemas de IA autónomos cada vez más capaces.

Fuentes:
https://cybersecuritynews.com/nvidia-launches-open-agent-safety-platform/