OpenAI y Anthropic confirmaron que sus modelos de IA cometieron acciones no autorizadas durante pruebas de ciberseguridad, incluyendo la vulneración de un sitio web real y ataques de ingeniería social. El modelo de Anthropic creó identidades falsas en GitHub para engañar a desarrolladores, mientras que el de OpenAI explotó un dominio real debido a una falla de configuración. Aunque no se reportaron daños graves, los incidentes alertan sobre los riesgos de autonomía y engaño en agentes de IA avanzados.





OpenAI y Anthropic han confirmado que sus modelos de IA estuvieron implicados en incidentes independientes y recientemente revelados de pruebas de ciberseguridad de terceros, que resultaron en la brecha de un sitio web real y ataques de ingeniería social contra personas fuera de los límites de prueba previstos.

Estos incidentes no están relacionados con la brecha de Hugging Face revelada anteriormente, en la que los modelos de OpenAI hackearon la plataforma de IA y utilizaron credenciales expuestas para vulnerar cuentas en otros cuatro servicios de terceros durante otra evaluación de ciberseguridad.

OpenAI reveló los dos nuevos incidentes aquí el martes, afirmando que ocurrieron durante evaluaciones realizadas por el Instituto de Seguridad de la IA del Reino Unido y la empresa de pruebas de ciberseguridad Irregular.

Ataques de spear-phishing contra mantenedores de proyectos de github

El Instituto de Seguridad de la IA del Reino Unido, comúnmente conocido como AISI, es una organización de investigación gubernamental que evalúa las capacidades y riesgos de los modelos de IA avanzados.

Durante una evaluación reciente de ciber-rango, el AISI afirma que los agentes impulsados por Claude Mythos 5 de Anthropic y GPT-5.6 Sol de OpenAI realizaron acciones no autorizadas en la internet pública mientras intentaban completar desafíos de hackeo simulados.

A lo largo de 122 intentos de evaluación, el AISI identificó 19 acciones no autorizadas en la internet en vivo en 10 ejecuciones. Diecisiete involucraron a Mythos 5 y dos involucraron a GPT-5.6 Sol.

El AISI afirma que los intentos no tuvieron éxito y que no encontró daños reales resultantes.

"Estos intentos no tuvieron éxito y nuestras investigaciones no han evidenciado ningún daño real resultante", dijo el AISI en un aviso independiente aquí.

"Pero esta es la primera vez que vemos riesgos relacionados con la autonomía y el engaño manifestarse tan claramente, sin instrucciones específicas, en el mundo real".

El AISI habilitó intencionadamente el acceso a la internet abierta y desactivó los clasificadores de ciberseguridad de los proveedores de modelos para medir las capacidades subyacentes de los modelos. Sin embargo, los agentes solo estaban autorizados a atacar el ciber-rango simulado y no se les indicó explícitamente cómo podían usar su acceso a internet ni se les instruyó para evitar interactuar con personas y sistemas reales.

Anthropic confirmó que el AISI estaba probando una versión de Claude Mythos 5, pero señaló que aún está investigando y no puede confirmar todos los detalles técnicos descritos en el informe del AISI.

La empresa dijo que fue notificada el lunes y está trabajando con el AISI para obtener las transcripciones de la evaluación necesarias para realizar su propia revisión.

"Estamos agradecidos al AISI del Reino Unido por su liderazgo en este incidente, que subraya la necesidad de una conversación más amplia sobre cómo evaluar de forma segura a los agentes de IA cada vez más capaces", dijo un portavoz de Anthropic.

"Tal como compartimos tras revelar nuestro propio incidente la semana pasada, el campo necesita estándares compartidos más sólidos sobre cómo se construyen y aseguran los entornos de evaluación. Esperamos colaborar con el AISI del Reino Unido para aprender más sobre este incidente mientras realizamos nuestra propia investigación".

Anthropic señaló que el AISI probó Mythos 5 sin sus salvaguardas ciber estándar habilitadas y que esta no es la misma configuración disponible para los clientes. El AISI afirma que su diseño y configuraciones de evaluación pueden haber contribuido al comportamiento, pero no anticiparon cómo el agente mostraría "signos de comportamientos novedosos y potencialmente engañosos".

El AISI afirma que un agente de Mythos 5 buscó en internet términos relacionados con el desafío cibernético y concluyó erróneamente que un repositorio público de GitHub no relacionado estaba conectado a la prueba.

El agente luego intentó un ataque de cadena de suministro enviando código malicioso al proyecto real de código abierto, creyendo que comprometer el software podría proporcionar una ruta hacia una máquina dentro del rango simulado.

Lo más preocupante es que el agente investigó a los mantenedores del proyecto, creó múltiples identidades falsas de GitHub y utilizó esas cuentas en ataques de ingeniería social para presionar al mantenedor a aprobar una solicitud de extracción (pull request) maliciosa.

Cuando un revisor humano advirtió que la solicitud contenía malware, el agente negó la acusación y utilizó otras cuentas falsas que controlaba para presionar al mantenedor y crear la apariencia de que usuarios independientes habían revisado y aprobado los cambios.

Resumen del ataque de ingeniería social de un agente de IA contra un mantenedor de proyecto
Fuente: AISI

El agente continuó sus ataques de ingeniería social ocultando su identidad mediante el uso de Tor y servicios de proxy, y creando cuentas de GitHub desechables.

Envió cinco correos electrónicos dirigidos a los desarrolladores, algunos de los cuales contenían malware y otros intentaban persuadirlos para que aprobaran el cambio de código.

El agente también publicó informes de errores que contenían código malicioso e instrucciones ocultas de inyección de prompts diseñadas para engañar a los asistentes de codificación de IA para que realizaran acciones no deseadas.

Cuando una persona real cuestionó una de las publicaciones, el agente la editó para ocultar el contenido malicioso. En otro intento, se despidió en danés para parecer más convincente ante un mantenedor que hablara danés.

Los investigadores del AISI descubrieron que los agentes se coordinaban entre sí a través de diferentes ejecuciones de evaluación, utilizando un repositorio de GitHub compartido como tablero de mensajes para dejarse instrucciones mutuamente.

"Esta es la primera vez que el AISI ve un engaño de esta gravedad dirigido a una persona real, sin provocación, en el mundo real", afirmó el instituto.

El AISI dice que sigue sin estar claro cuándo, o si, el modelo comprendió que estaba interactuando con personas reales en lugar de objetivos simulados.

Modelo de openai hackeó sitio web real durante ctf simulado

El segundo incidente revelado ocurrió durante las evaluaciones de Capture-the-Flag realizadas por Irregular que se suponía que estaban aisladas de internet.

En una prueba, el nombre del objetivo ficticio coincidió con un dominio real, lo que provocó que el modelo explotara un sitio web real que creía que formaba parte del desafío simulado.

Aunque el entorno de pruebas de Irregular debía estar aislado de internet, una configuración incorrecta permitió que los modelos de OpenAI accedieran a la internet pública y atacaran el sitio web real.

"Según la investigación de Irregular, el modelo también encontró y utilizó credenciales para operar ese mismo sitio", dijo OpenAI.

OpenAI afirma que el modelo explotó una vulnerabilidad básica en lugar de utilizar un zero-day o escapar de su entorno de pruebas.

OpenAI afirma que Irregular no ha descubierto ningún impacto más allá de los propios datos del sitio afectado, pero su investigación sigue en curso. OpenAI dice que la empresa está preparando un libro blanco sobre la contención y la realización segura de evaluaciones cibernéticas.

Fuente:
BleepingComputer