NVIDIA desarrolla un sistema de seguridad para controlar agentes de IA

La compañía NVIDIA ha presentado un nuevo paquete de herramientas diseñadas para crear una especie de "cárcel" digital. El objetivo principal es evitar que los agentes de inteligencia artificial, desarrollados por firmas como Anthropic o OpenAI, salgan de sus entornos de prueba y puedan hackear sitios web o empresas de forma descontrolada.

NVIDIA anunció el lanzamiento de un nuevo conjunto de herramientas de seguridad destinado a encerrar a los agentes de IA en una "cárcel". En concreto, NVIDIA quiere que compañías como OpenAI o Anthropic no tengan a sus agentes fuera del entorno de pruebas hackeando a cualquier página web o empresa que se encuentren sin ningún tipo de autorización. NVIDIA asegura que su nueva plataforma habría sido capaz de impedir el ataque sufrido por Hugging Face este verano. Que fue cuando una serie de agentes de OpenAI consiguieron escapar de sus entornos controlados y explotar vulnerabilidades de software para acceder a la plataforma.

El anuncio de NVIDIA llega justamente en un momento donde OpenAI y Anthropic están investigando numerosos episodios en los que sus sistemas autónomos han realizado acciones no deseadas. NVIDIA plantea este problema principalmente como un reto de ingeniería y seguridad informática, y es por ello que vende su solución para mantener encerrados a estos agentes.

NVIDIA OpenShell busca encerrar a los agentes de IA y limitar todo lo que pueden hacer

Esta "cárcel" para agentes de IA recibe el nombre de NVIDIA OpenShell. La compañía lo define como un entorno de ejecución de código abierto diseñado específicamente para ejecutar agentes autónomos dentro de una sandbox. Su objetivo es que estos sistemas puedan utilizar archivos, herramientas, APIs o recursos informáticos sin obtener acceso ilimitado al sistema anfitrión. Para lograrlo, NVIDIA aplica restricciones independientes sobre el sistema de archivos, la red, los procesos y las credenciales utilizadas por el agente.

OpenShell utiliza además funciones de aislamiento implementadas a nivel del sistema operativo y del hardware. Por defecto, las conexiones de red salientes pueden ser bloqueadas salvo que estén expresamente permitidas, mientras que el acceso al sistema de archivos queda restringido a las rutas autorizadas. Todo ello busca evitar que un agente pueda, por ejemplo, robar credenciales, acceder a archivos sensibles o enviar información hacia servidores externos después de encontrar una forma inesperada de cumplir una tarea.

Por otro lado, NVIDIA también aprovechó para anunciar Sentry, un segundo sistema que funciona conjuntamente con OpenShell utilizando un chip separado de NVIDIA. Podríamos decir que este chip cumple la función de agente penitenciario. Y es que Sentry se encarga de vigilar el comportamiento del agente y cortar su ejecución si intenta escapar del entorno protegido de la CPU. La compañía también está trabajando con Intel y Arm para extender estas protecciones a procesadores basados en sus respectivas arquitecturas, y afirma que el lanzamiento cuenta con decenas de socios, entre ellos Anthropic.

NVIDIA asegura que esta tecnología habría detenido el ataque de los agentes de OpenAI a Hugging Face

NVIDIA promociona su nueva tecnología refiriéndose concretamente al ataque relacionado con Hugging Face. Fue este verano cuando un enjambre de agentes asociados a OpenAI aprovechó vulnerabilidades de software previamente desconocidas para escapar de sus redes y acceder a Hugging Face mientras trataban de encontrar respuestas para una prueba. OpenAI anunció públicamente el incidente el pasado 21 de julio, pero posteriormente aparecieron otros casos de comportamiento problemático relacionados con sus agentes.

Fue Justin Boitano, el vicepresidente y director general de Informática empresarial de NVIDIA, quien aseguró que la nueva plataforma OpenShell podría haber detenido esta brecha si hubiese estado utilizándose durante las evaluaciones de modelos realizadas por los principales laboratorios de IA. De esta forma la propia NVIDIA está muy segura de las capacidades de su plataforma. Otro de los problemas que NVIDIA intenta solucionar aparece cuando los propios agentes buscan formas alternativas de superar las restricciones.

Según la compañía, sus herramientas utilizan métodos matemáticos para detectar comportamientos anómalos. Esto incluye situaciones en las que un agente crea varios subagentes para intentar sortear las limitaciones impuestas sobre el agente principal. NVIDIA considera que la seguridad deberá tener en cuenta este tipo de comportamiento colectivo. Es decir, donde ya no existe un único agente ejecutando acciones, sino potencialmente flotas completas de agentes cooperando entre sí. Y sí, incluso intentando tapar el rastro de lo que han hecho.