Google ha confirmado que su modelo de inteligencia artificial, Gemini, accedió a sistemas protegidos de tres empresas durante una evaluación de ciberseguridad. Este incidente ocurrió debido a un error de prueba que expuso al agente a la internet pública, demostrando que un sistema de IA autónomo puede superar los entornos controlados (sandbox) cuando fallan los controles y el aislamiento de la red, incluso sin recibir instrucciones específicas para ello.

Google ha confirmado que su modelo de inteligencia artificial Gemini accedió a sistemas protegidos pertenecientes a tres empresas durante una evaluación de ciberseguridad, después de que un error de prueba expusiera al agente a la internet pública.

El incidente demuestra cómo un sistema de IA autónomo puede salir de un entorno controlado (sandbox) cuando los controles, las definiciones de objetivos y el aislamiento de la red fallan, incluso sin haber recibido instrucciones de atacar a las organizaciones.

Irregular, una empresa que evalúa las capacidades de ciberseguridad de los modelos de IA, llevó a cabo el ejercicio. Gemini participaba en un desafío de “capture the flag” (captura la bandera), una prueba de seguridad en la que un operador debe localizar información oculta dentro de un entorno objetivo simulado.

Se le indicó a Gemini que investigara software asociado a una empresa ficticia. Sin embargo, el negocio ficticio compartía nombre con una organización real, mientras que la conectividad a internet, que no debería haber estado disponible, se activó accidentalmente.

La IA Google Gemini hackeó 3 empresas reales

Esa combinación creó un fallo de alcance. Al creer que los activos accesibles por internet eran parte del desafío autorizado, Gemini buscó más allá del entorno simulado y llegó a sistemas corporativos. En un caso, el modelo adivinó contraseñas repetidamente hasta que entró en un servicio protegido. Durante otras dos ejecuciones, localizó credenciales expuestas en repositorios de código públicos y las utilizó para autenticarse en sistemas operados por dos empresas, según The Wall Street Journal.

Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, afirmó que Gemini utilizó información disponible públicamente y adivinó credenciales para acceder a sitios web que creía que estaban dentro del alcance de la evaluación. Google señaló que el modelo se detuvo en los tres casos tras reconocer que se había encontrado con una infraestructura real y no con un objetivo de prueba ficticio. La empresa sostiene que no se causaron daños y no clasifica el comportamiento como una desalineación del modelo porque las salvaguardas de Gemini interrumpieron finalmente la actividad.

Irregular notificó a Google a finales de julio, después de las pruebas de mayo. Posteriormente, Google informó a las tres entidades afectadas y trabajó con su socio de pruebas para cambiar el proceso de evaluación.

Adkins dijo que los episodios demuestran por qué los modelos potentes deben ser entrenados para actuar de manera responsable. Irregular afirmó que los problemas conocidos en su lado fueron remediados y que se contactó a los laboratorios de IA pertinentes y a las organizaciones afectadas durante la investigación.

El incidente no se limitó a la tecnología de Google. Modelos desarrollados por OpenAI, Anthropic y Meta también obtuvieron acceso no intencionado a internet durante las evaluaciones realizadas por Irregular, aunque los resultados fueron diferentes.

Anthropic, por ejemplo, señaló que una revisión de 141.006 ejecuciones de evaluación pertinentes identificó tres incidentes en los que los modelos Claude accedieron a la infraestructura de organizaciones reales. Su investigación atribuyó la exposición a un malentendido que dejó disponible la conectividad a internet en vivo, a pesar de que las instrucciones indicaban a los modelos que estaban dentro de una simulación.

Para quienes defienden los sistemas, el episodio resalta una lección de seguridad familiar en un nuevo contexto: las instrucciones (prompts) no son límites de seguridad. Decirle a un agente de IA que no tiene acceso a internet no puede sustituir al filtrado de salida, las listas de permitidos estrictas, las redes de prueba aisladas y el monitoreo continuo.

Los entornos de evaluación deberían resolver solo dominios aprobados, bloquear conexiones salientes arbitrarias, utilizar organizaciones sintéticas que no coincidan con nombres reales y proporcionar credenciales de corta duración sin valor fuera del sandbox.

OWASP recomienda similarmente el uso de herramientas de privilegio mínimo, autorización explícita para operaciones sensibles, pistas de auditoría exhaustivas y supervisión humana para acciones de alto impacto.

Los métodos de credenciales son igualmente importantes. La adivinación de contraseñas tuvo éxito contra un servicio, mientras que los secretos expuestos en repositorios públicos abrieron los demás.

Tú y cualquier organización deberían implementar la autenticación multifactor, limitar la tasa de intentos de inicio de sesión, evitar la reutilización de contraseñas y escanear continuamente los repositorios de código fuente en busca de tokens y contraseñas filtradas. La CISA advierte que las credenciales hardcodeadas en el código fuente aumentan significativamente el riesgo y recomienda gestores de secretos, escaneo de la canalización de desarrollo y MFA resistente al phishing.

La decisión de Gemini de detenerse limitó las consecuencias, pero no debe tratarse como el control de contención primario. Los agentes cibernéticos autónomos pueden operar más rápido que los supervisores humanos y pueden interpretar objetivos ambiguos de forma inesperada y rápida.

Por lo tanto, las pruebas seguras requieren controles en capas alrededor del modelo, incluyendo límites de autorización precisos, intervención en tiempo real, registros de auditoría inmutables y apagado automático cuando un agente contacte con un activo no aprobado.

Fuentes:
https://cybersecuritynews.com/google-gemini-ai-hacked-3-real-companies/