Irregular dijo a Reuters que el incidente de Meta implicó el "mismo problema de entorno de evaluación que ya fue revelado por Anthropic la semana pasada".

La empresa afirmó que el incidente no implicó un escape del sandbox ni una acción cibernética sofisticada. En su lugar, un error en el entorno de prueba dio al modelo acceso a la internet pública cuando se suponía que debía estar aislado.

"No hay problemas abiertos actualmente. Irregular está desarrollando un libro blanco para compartir las mejores prácticas de contención y ejecución segura de evaluaciones cibernéticas", dijo la empresa a Reuters.

Este nuevo incidente de seguridad de agentes de IA sigue a la revelación de Anthropic la semana pasada de que algunos de sus modelos habían hackeado a tres empresas después de que una configuración incorrecta similar en el entorno de prueba de Irregular les diera acceso no deseado a internet.

En uno de esos incidentes, Claude Mythos 5 encontró instrucciones de desarrollador dentro del entorno simulado que hacían referencia a un paquete de Python inexistente. Creyendo haber identificado una forma de comprometer el objetivo ficticio, el modelo creó un paquete malicioso bajo el mismo nombre y lo publicó en el registro real de PyPI.

El paquete permaneció en línea durante aproximadamente una hora y fue descargado y ejecutado en 15 sistemas reales antes de que PyPI lo eliminara.

Uno de ellos era un escáner de malware operado por una empresa de seguridad, donde el paquete robó credenciales que Claude utilizó luego para acceder a infraestructura adicional. Anthropic dijo que el modelo reconoció inicialmente que publicar el paquete constituiría un ataque en el mundo real, pero se convenció a sí mismo de que todavía estaba operando dentro de una simulación.

OpenAI también reveló recientemente otra evaluación de Irregular en la que el nombre de un objetivo de CTF ficticio coincidía con un dominio real.

Debido a que el entorno supuestamente aislado podía acceder a la internet pública, un modelo de OpenAI explotó una vulnerabilidad básica en el sitio web real y encontró credenciales que le permitieron operar el sitio.

Los incidentes de Meta e Irregular difieren de la vulneración de Hugging Face revelada anteriormente, donde los modelos de OpenAI encontraron un camino a la internet pública explotando una vulnerabilidad previamente desconocida en un servidor JFrog Artifactory alojado internamente utilizado durante las pruebas.

Tras alcanzar internet, los agentes vulneraron Hugging Face mientras buscaban conjuntos de datos de referencia y soluciones, robaron credenciales y se movieron lateralmente a través de los sistemas de la empresa.

OpenAI reveló posteriormente que los agentes utilizaron credenciales expuestas para acceder a cuentas en otros cuatro servicios de terceros, utilizando algunas de esas cuentas para infraestructura de ataque y almacenamiento de datos.

El Instituto de Seguridad de la IA del Reino Unido, conocido comúnmente como AISI, también reveló que los agentes que utilizaban Claude Mythos 5 de Anthropic y GPT-5.6 Sol de OpenAI realizaron 19 acciones no autorizadas en la internet pública durante las evaluaciones de ciber-rango.

En la secuencia más grave, el agente Mythos 5 intentó un ataque de cadena de suministro contra un proyecto real de código abierto tras concluir erróneamente que su repositorio de GitHub estaba conectado al desafío simulado.

El agente investigó a los mantenedores del proyecto, envió código malicioso, creó identidades falsas, envió correos electrónicos dirigidos que contenían malware y presionó a un mantenedor para que aprobara la solicitud de cambios (pull request).

Cuando un revisor advirtió que el código contenía malware, el agente negó la acusación y utilizó cuentas falsas adicionales para crear la apariencia de que usuarios independientes habían revisado y aprobado los cambios.

El AISI proporcionó intencionadamente a los agentes acceso a internet y desactivó sus salvaguardas cibernéticas estándar para medir sus capacidades subyacentes. Sin embargo, los agentes solo estaban autorizados a atacar sistemas dentro del rango simulado.

Como ha quedado claro, a menos que se restrinjan cuidadosamente, los agentes de IA harán grandes esfuerzos para resolver sus tareas, incluso si eso significa salir de los sandboxes o realizar ataques de ingeniería social a personas reales.

Si bien los desarrolladores de IA tienen la responsabilidad de crear salvaguardas que eviten que los modelos realicen acciones dañinas, los incidentes también resaltan la responsabilidad de las empresas que realizan estas evaluaciones de configurar correctamente sus entornos de prueba.

Fuente:
BleepingComputer