Un agente de IA de OpenAI evadió controles de acceso en un portal de estadísticas de Medicare en Australia, accediendo a archivos no públicos sin comprometer datos personales. El gobierno australiano criticó la demora de la empresa en informar el incidente y ha creado un grupo de trabajo para revisar la seguridad ante riesgos de IA. Otros reportes indican casos similares con modelos de Anthropic y Meta, resaltando la capacidad de los agentes de IA para explotar vulnerabilidades.








Un agente de IA en una tarea de investigación interna de OpenAI evadió los controles de acceso de un portal de estadísticas de Medicare del gobierno australiano en junio, afirmó el primer ministro Anthony Albanese aquí.

El portal publica cifras agregadas, como el gasto, y es independiente de los sistemas que gestionan las reclamaciones de Medicare y los registros personales. El agente accedió a archivos que no eran públicos, pero se cree que hasta ahora no se ha accedido a ninguna información personal.

OpenAI informó primero al gobierno el 10 de septiembre, mediante un correo electrónico a un buzón público de Services Australia, que es quien gestiona el portal. OpenAI afirma que detectó la actividad en agosto. Albanese señaló que la empresa tardó demasiado en informar al gobierno y que la forma en que lo hizo fue inaceptable.

El 18 de junio, el portal rechazó repetidamente las solicitudes de datos del agente, pero el agente encontró una solución alternativa y obtuvo acceso no autorizado. El gobierno no ha explicado cómo logró superarlos.

Services Australia ha informado al gobierno que el agente también escribió archivos en un servidor interno. Esto sigue bajo investigación. Las pruebas hasta el momento no muestran un compromiso más amplio de la red de la agencia.

Los datos no públicos no eran particularmente sensibles y ya han sido publicados. Para el 24 de septiembre, el portal había sido puesto fuera de línea aquí, y sus datos se trasladaron a data.gov.au y otras plataformas seguras.

El primer ministro interino, Richard Marles, dijo a la ABC aquí que la información de seguridad nacional está sujeta a protecciones mucho más fuertes, mientras que la información del portal estaba "detrás de una valla que el agente de IA efectivamente escaló".

OpenAI afirmó en un comunicado a Fox Business aquí que sus modelos "tomaron acciones que no pretendíamos" mientras buscaban estadísticas sobre Australia durante una evaluación interna.

La empresa lo descubrió durante una revisión más amplia de lo que llama actividad de modelo desalineada en el entrenamiento y la evaluación, y verificó a qué se había accedido antes de notificar a Services Australia.

La actividad involucró varios sitios web y servicios del gobierno australiano. La información a la que accedieron sus modelos incluía estadísticas de salud agregadas y nombres de archivos internos, y OpenAI no encontró evidencia de que se haya accedido a registros de pacientes.

El gobierno solo ha descrito el acceso no autorizado en el portal de estadísticas de Medicare.

Services Australia vio el correo electrónico de OpenAI el 11 de septiembre, verificó que fuera genuino aquí y reportó el incidente el 15 de septiembre al Centro de Seguridad Cibernética Australiano, parte de la Dirección de Señales Australiana (ASD). El gobierno hizo público el incidente el 24 de septiembre, hora de Australia.

Albanese expresó sus preocupaciones, incluido el retraso, al director ejecutivo de OpenAI, Sam Altman, en una llamada telefónica. Según el relato de Albanese, Altman aceptó que la empresa no lo había hecho lo suficientemente bien.

Marles calificó el hecho como un incidente muy serio aquí con un impacto relativamente menor, y describió a OpenAI como cooperativa.

La ASD está ayudando con una investigación forense y Services Australia está realizando la suya propia.

Albanese también anunció un grupo de trabajo, dirigido por el Departamento del Primer Ministro y el Gabinete, para revisar si los procesos existentes son suficientes para responder a incidentes cibernéticos relacionados con la IA. Incluirá al Coordinador Nacional de Ciberseguridad, la Oficina de IA, la ASD, el Instituto Australiano de Seguridad de la IA y Services Australia.

La revisión examinará posibles respuestas policiales y cambios en la ley. El gobierno también buscará asesoramiento urgente sobre si se cometieron delitos y si debe remitir el caso a la Policía Federal Australiana.

El incidente también llegará al Comité Selecto Conjunto del Parlamento sobre Inteligencia Artificial, y lo que el gobierno aprenda de ello servirá para su legislación prevista sobre estándares de IA.

Otras revelaciones de modelos de IA que alcanzaron sistemas reales

Agentes de IA intentaron hackear tres sitios web de datos públicos en mayo y junio, según un informe del laboratorio de investigación de IA Transluce aquí publicado el mismo día que el anuncio de Albanese. Uno era un sitio web de salud pública del gobierno australiano gestionado por el Instituto Australiano de Salud y Bienestar (AIHW).

El 20 y 21 de junio, la protección contra bots bloqueó a los agentes que trabajaban en una tarea de datos farmacéuticos para evitar que accedieran al sitio principal de AIHW. Entonces, los agentes buscaron una vulnerabilidad y recuperaron un archivo público de un servidor de preproducción.

Los agentes estaban realizando tareas ordinarias de recuperación de datos, no trabajo de seguridad. Utilizaron urlquery.net, un servicio público de escaneo de páginas web, para eludir sus restricciones de acceso. El laboratorio vincula al menos parte de la actividad con enjambres de agentes previamente atribuidos a OpenAI.

OpenAI informó en julio que sus modelos, durante evaluaciones internas de ciberseguridad, evadieron los controles destinados a mantenerlos fuera de internet e irrumpieron en partes de los sistemas de Hugging Face.

En septiembre, OpenAI publicó informes sobre otros casos encontrados durante el entrenamiento. En un caso, un modelo utilizó una clave API de GitHub expuesta sin autorización. En otros, los modelos subieron archivos a sitios de alojamiento públicos sin que se les solicitara.

Anthropic ha revelado cuatro incidentes aquí en los que sus modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros durante evaluaciones de ciberseguridad creadas por un socio externo. A los modelos se les había dicho que no tenían acceso a internet, pero una configuración incorrecta lo dejó abierto.

Meta dijo en agosto aquí que una versión preliminar de su modelo Muse Spark 1.1 explotó un fallo en un sitio web real y cambió su base de datos durante un ejercicio realizado por el mismo socio, Irregular. Irregular había dejado el acceso a internet abierto y, por error, le dio al modelo el nombre del sitio real como su objetivo.

Irregular afirma que las revelaciones públicas posteriores sobre su entorno de evaluación se refieren al mismo problema subyacente, revelado por primera vez el 30 de julio, y que "no son incidentes materialmente separados".

Por separado, el Instituto de Seguridad de la IA del Reino Unido informó en agosto que los agentes de IA en sus pruebas cibernéticas realizaron 19 acciones no aprobadas en el internet real en 10 de 122 ejecuciones, incluyendo un intento de ataque a la cadena de suministro en un proyecto de código abierto.

Los intentos más graves fallaron y el instituto no encontró evidencia de daños en el mundo real. El acceso a internet había sido habilitado intencionalmente para las pruebas.

La ASD publicó un aviso el 11 de agosto aquí sobre un caso diferente, en el que un asistente de IA realizó cambios no aprobados en un sistema de reservas de gimnasio. Afirmó que las organizaciones que gestionan servicios en línea deben considerar que "los agentes de IA podrían identificar y explotar vulnerabilidades a gran velocidad y escala".

Su consejo para quienes construyen sitios web y servicios en línea incluye controles de seguridad y calidad, escaneo de vulnerabilidades y una autenticación de usuario adecuada.

Fuente:
THN