Entradas Mensuales

Síguenos en:

Canal Oficial Telegram de elhacker.NET Grupo Facebook elhacker.NET Twitter elhacker.NET Canal Youtube elhacker.NET Comunidad Steam: Grupo elhacker.NET Mastodon

Entradas populares

PostHeaderIcon AWS lanza un entorno de pruebas de código abierto para agentes de IA y así evitar desastres por actuar sin control


AWS lanzó Strands Box, un sandbox de código abierto para controlar el comportamiento de agentes de IA y evitar acciones autónomas peligrosas. El sistema impone reglas estrictas basadas en el historial de actividad para prevenir desastres técnicos o costos excesivos.

Strands




AWS ha ofrecido múltiples estrategias de código abierto para responsabilizar a los agentes de IA, y ahora está añadiendo un sandbox completo a este conjunto de herramientas.

Bautizada como Strands Box, la nueva solución utiliza el aislamiento a nivel de sistema operativo y algunas de las otras herramientas recientes de control de IA de código abierto de AWS para, ostensiblemente, mantener un mayor control sobre el comportamiento de los agentes de IA autónomos.

"Los agentes funcionan cada vez más en 'modo YOLO', aprobando cada acción sin revisión humana", explicó el equipo de AWS en su anuncio. "La solución habitual a este problema es un sandbox... pero el acceso es solo una parte de lo que queremos controlar".




El problema con los contenedores y las microVM que se utilizan habitualmente para aislar a los agentes de IA, según explica AWS, es que su fuerte aislamiento no va acompañado de una aplicación de reglas contextuales. En otras palabras, cuando un agente virtualizado o en un contenedor toma el control de una herramienta, puede que no haya nada que le impida hacer lo que quiera, como borrar una base de datos de producción o acceder a internet y hacer quién sabe qué.

Ahí es donde entran las otras herramientas de código abierto dentro de Strands Box: utiliza el motor local Dogwood para dotar al motor de políticas de Box de una conciencia temporal, de modo que las llamadas a las herramientas puedan verificarse no solo en función de lo que el agente quiera hacer, sino de lo que ya ha hecho.

Como ejemplo, AWS señaló que se podría permitir que un agente publique actualizaciones de estado en Slack, pero no más de tres veces cada diez minutos para evitar que sature a sus operadores humanos. Un portavoz de AWS explicó además que Box podría utilizarse para controlar cuándo un agente puede realizar un Git push, o podría utilizarse para poner un tope a las llamadas a la API que podrían acabar costando una pequeña fortuna.

Además, Strands Box incluye Strands Shell y Monty para Python, que exponen las operaciones de shell y Python al mismo motor de políticas de Dogwood y al historial de eventos, haciendo que las acciones agenticas sean más claras para los desarrolladores y permitiendo que las políticas tengan en cuenta lo que el agente está intentando hacer.

El vicepresidente e ingeniero distinguido de AWS, Marc Brooker, una de las personas detrás de Dogwood y Strands Box, explicó que los intérpretes son una pieza clave para hacer que el comportamiento agentico sea más inteligible, lo que permite a los desarrolladores escribir políticas más precisas para evitar que los agentes tomen acciones erróneas.

"Los intérpretes de Shell y Python de Box exponen operaciones como el borrado de archivos, mientras que sus puertas de enlace exponen solicitudes de API y llamadas a herramientas", nos dijo Brooker en un correo electrónico. "Las políticas pueden entonces tener en cuenta la acción que se intenta realizar y la actividad anterior".

Box, añadió Brooker, aplica esas reglas sin confiar ni depender de que los agentes sigan realmente las instrucciones, lo que idealmente debería evitar que pasen por encima de los deseos de sus operadores.

En cuanto al motivo detrás del impulso de AWS por desarrollar herramientas de código abierto como Dogwood, el Dogwood Local Engine y Strands Box, Brooker afirmó que AWS quiere encontrar el equilibrio adecuado entre los límites y las políticas que prevengan desastres de IA agentica.

"Box aplica las políticas que los desarrolladores configuran, de forma determinista, y el agente no puede convencer al sistema para saltarse estas reglas", explicó Brooker, aunque añadió que, incluso con los permisos correctamente configurados, una acción agentica aún puede producir un resultado no deseado.

"Los desarrolladores siguen siendo responsables de decidir qué acceso conceder y dónde es necesaria la revisión humana", añadió Brooker; en otras palabras, no deje que su modo YOLO se vuelva demasiado YOLO. Un poco de supervisión humana sigue siendo necesaria.

"La seguridad de los agentes es un área en la que la industria todavía tiene un trabajo significativo por hacer, y nos comprometemos a seguir invirtiendo en ella, tanto dentro de la nube de AWS como en el código abierto", dijo Brooker.

Strands Box es compatible con cualquier agente o arnés que se quiera confinar dentro de sus muros y ya está disponible en GitHub, aunque por el momento solo para macOS. El soporte para Linux está en desarrollo y AWS nos dijo que un cliente de Windows está "en nuestro radar", pero ninguno tiene una fecha de lanzamiento prevista. También está previsto el despliegue en plataformas como AgentCore, ECS y Kubernetes. 

Fuente:
TheRegister

0 comments :

Publicar un comentario

Los comentarios pueden ser revisados en cualquier momento por los moderadores.

Serán publicados aquellos que cumplan las siguientes condiciones:
- Comentario acorde al contenido del post.
- Prohibido mensajes de tipo SPAM.
- Evite incluir links innecesarios en su comentario.
- Contenidos ofensivos, amenazas e insultos no serán permitidos.

Debe saber que los comentarios de los lectores no reflejan necesariamente la opinión del STAFF.