Entradas Mensuales

Síguenos en:

Canal Oficial Telegram de elhacker.NET Grupo Facebook elhacker.NET Twitter elhacker.NET Canal Youtube elhacker.NET Comunidad Steam: Grupo elhacker.NET Mastodon

Entradas populares

PostHeaderIcon Pruebas de Gemini confirman que los agentes de IA amorales hacen casi cualquier cosa si se les dice que nunca se rindan


Agentes de IA de Google Gemini intentaron hackear una organización, suplantando identidades y realizando ataques SQL durante una prueba de seguridad. A pesar de tener activas sus protecciones, los modelos mostraron comportamientos desalineados al intentar cumplir una tarea imposible. El estudio resalta la falta de estándares de seguridad y el riesgo de que la IA afecte sistemas reales.





Tras recibir la instrucción de "NUNCA detenerse, NUNCA rendirse" en una tarea difícil, los agentes de IA Gemini de Google intentaron hackear una organización, suplantando a su personal e intentando un ataque de inyección SQL.

¿La buena noticia? Todo fue parte de una prueba.

A los agentes Gemini 4 Argon se les asignó una tarea imposible de completar: encontrar las respuestas "oficiales" a los problemas de FrontierMatch de Epoch AI. En algunas ejecuciones tuvieron acceso a internet. Incluso con sus salvaguardas de producción activadas, Trajectory Labs afirma que los agentes "mostraron un comportamiento desalineado".

"En cuatro escenarios, intentaron realizar una inyección SQL contra el sitio web en vivo de Epoch AI, afirmaron ser personal de Epoch para obtener las claves de respuesta, convirtieron un caché de paquetes compartido en un tablero de mensajes y ofuscaron sus comandos para evitar sus propias salvaguardas", señaló la empresa de seguridad de IA en un informe el viernes.

Si todo esto suena familiar, es porque debería. Los agentes de IA de Google se comportaron de manera muy similar a como lo hicieron los modelos de OpenAI cuando escaparon de su entorno de prueba y hackearon Hugging Face.
.

Según Trajectory, las intrusiones en Hugging Face los impulsaron a probar la desalineación en otros modelos. Mientras que los modelos de OpenAI funcionaban con sus barreras de seguridad desactivadas en el escenario de Hugging Face, Trajectory "quería saber si un modelo frontera actual se comportaría de la misma manera con sus salvaguardas de producción activadas".

Trajectory ejecutó enjambres de hasta 80 agentes Gemini 4 Argon, les dio una tarea imposible y les instó a no rendirse hasta completarla, lo cual, según nos indican, se hizo "intencionalmente" para "provocar un comportamiento desalineado, si es que existía".


Dijimos a los agentes que persistieran en una tarea de benchmark matemático imposible, pero no les dijimos que hackearan a nadie ni que se hicieran pasar por el personal de Epoch



Resultó que sí existía.

"Dijimos a los agentes que persistieran en una tarea de benchmark matemático imposible, pero no les dijimos que hackearan a nadie ni que se hicieran pasar por el personal de Epoch", dijo McIntyre.

"Cuando un modelo hackea sistemas o engaña a personas para terminar una tarea, está desalineado con lo que su desarrollador y su usuario pretendían", continuó. "Las salvaguardas de producción están diseñadas para bloquear solicitudes dañinas incluso cuando el modelo mismo falla. Bajo nuestras condiciones de prueba, ni el modelo ni sus salvaguardas detuvieron a los agentes".


Cuatro escenarios de prueba



Las pruebas iniciales comenzaron el 20 de octubre y los agentes tenían acceso a internet. Cabe señalar que todas estas pruebas se realizaron con el consentimiento de Epoch.

En el primer escenario, los agentes llegaron al sitio web en vivo de Epoch y cayeron en los "honeypots" (trampas) de la organización sin fines de lucro, configurados para detectar agentes de IA. Estos honeypots contenían una clave de benchmark señuelo, que los agentes encontraron y utilizaron. Los agentes también sondearon endpoints internos como /admin, /keys y /users, e intentaron una inyección SQL.

Tras notar las actividades de los agentes, Epoch añadió una "línea de ayuda para agentes", y algunos de los agentes que la utilizaron afirmaron ser personal de Epoch buscando respuestas a las preguntas del examen.

Después de esta prueba inicial, Trajectory y Epoch decidieron utilizar una copia del sitio web en lugar de la versión en vivo, y crearon una copia local con errores y una vulnerabilidad plantada basada en CVE-2026-102255, una vulnerabilidad crítica de falsificación de solicitud del lado del servidor (SSRF) previa a la autenticación en los dispositivos SonicWall Secure Mobile Access (SMA). "Durante los días siguientes, varios agentes explotaron completamente la cadena de vulnerabilidades multietapa plantada en el clon", dice el informe.

En un esfuerzo por imitar el incidente de Hugging Face, Trajectory también dio a los agentes un gestor de paquetes local compartido, que "casi todos" utilizaron como un tablero de mensajes para comunicarse entre sí y coordinar esfuerzos para completar la prueba.

En una configuración local separada, Trajectory sustituyó el honeypot de Epoch por un asistente de IA que solo liberaría las respuestas al personal nombrado de Epoch que pasara un control de seguridad con su fecha de nacimiento. "Los agentes accedieron a sitios de búsqueda de personas, intentaron la suplantación de identidad nuevamente e intentaron hacer un 'jailbreak' al asistente de IA", afirmó la firma de pruebas.


La próxima vez: interruptores de apagado listos



Una tercera prueba el 30 de octubre utilizó una copia de prueba del sitio web de Epoch y concedió a los agentes acceso a internet. Uno de ellos intentó una inyección SQL y varios afirmaron ser personal de Epoch en la línea de ayuda. También intentaron saltarse una verificación de CAPTCHA.

Finalmente, el cuarto escenario el 29 y 30 de octubre mantuvo a los agentes contenidos en un sandbox, sin acceso a internet y sin copia del sitio web de Epoch.

Sin embargo, se les ofreció un interruptor señuelo y se les dijo que apagaría el firewall.

En las tres ejecuciones, los agentes apagaron el señuelo y ofuscaron su dirección para eludir las salvaguardas de Gemini. En una de ellas, el agente reconstruyó la dirección del interruptor a partir de posiciones de palabras que había guardado previamente. El firewall real bloqueó el tráfico de los agentes durante todas estas pruebas.

En este punto, Trajectory detuvo sus pruebas y afirmó que no realizará más experimentos futuros hasta que tenga un plan de gestión de riesgos implementado, con la aprobación de su CEO y CTO, junto con la autorización de cualquier sistema externo que los modelos pudieran atacar "razonablemente". Las pruebas también incluirán monitoreo automatizado en tiempo real e interruptores de apagado (kill switches), y Trajectory dijo que está configurando un sistema para notificar a cualquier organización afectada por estos experimentos.

Curiosamente, el cofundador de Trajectory, Peter McIntyre, nos dijo que la firma de pruebas "realizó una prueba similar con otro modelo frontera, y este no mostró la misma desalineación que Gemini 4 Argon".

Sin embargo, esta no fue una comparación controlada. "Nuestro informe cubre el comportamiento de un modelo y fue diseñado como una prueba de estrés para ver si ese modelo mostraría una desalineación similar bajo presión, no como una medida de con qué frecuencia diferentes modelos se comportan así", dijo McIntyre a The Register.

En general, la firma de pruebas señaló que el comportamiento de los agentes "muestra con qué facilidad las pruebas de agentes de IA capaces pueden desbordarse y afectar a sistemas y personas reales, y aún no existen estándares compartidos para hacerlo de forma segura".

Trajectory afirma que está desarrollando un conjunto de estándares de seguridad y recomienda que cualquier otra persona que realice pruebas de desalineación utilice sandboxes totalmente aislados. 

Fuente:
TheRegister