La AEPD ha recibido la primera notificación de una brecha de datos ejecutada por un agente de IA, que logró vulnerar sistemas, modificar datos personales y acceder a documentos financieros de forma autónoma. Este incidente demuestra que los ataques impulsados por IA ya no son teóricos, aumentando la velocidad y escala de las amenazas cibernéticas. Ante esto, la agencia advierte la necesidad urgente de revisar los modelos de seguridad y respuesta, ya que la intervención humana manual es insuficiente frente a la velocidad de las máquinas.



La Agencia Española de Protección de Datos (AEPD) fue notificada de un ataque presuntamente
llevado a cabo con un agente de IA impulsado por un modelo de lenguaje extenso (LLM) conocido.

La organización que informó del incidente señaló que el agente de IA buscó
fallos, inició sesión en sus sistemas y luego sondeó las aplicaciones en busca de problemas de seguridad adicionales. En las etapas finales del ataque, el agente modificó datos personales y accedió a documentos financieros.

Aunque la agencia española aún no ha investigado el incidente ni verificado la
información, la AEPD afirma que la notificación demuestra que las brechas de datos relacionadas con la IA ya no son meramente teóricas.

“El agente atacante comenzó a buscar vulnerabilidades en archivos genéricos y logró iniciar sesión”, describe la AEPD.

“Una vez que obtuvo acceso al sistema, comenzó a buscar autónomamente vulnerabilidades en la aplicación. Tras encontrarlas, pudo modificar datos personales y acceder a facturas”.

La AEPD subrayó que la IA no crea nuevas amenazas, pero puede aumentar la velocidad, escala y adaptabilidad de los ciberataques, así como reducir los márgenes de tiempo de respuesta de los defensores, un cambio de paradigma recientemente destacado por el Centro Criptológico Nacional del país.

La notificación señala un cambio en la gestión de riesgos, que debería tener en cuenta explícitamente los ataques asistidos e impulsados por IA, ya que la automatización puede afectar la probabilidad, velocidad y alcance de un incidente.

Los procedimientos de tiempo de respuesta también deberían revisarse, ya que las acciones diseñadas para ataques manuales pueden ser insuficientes contra agentes que analizan activos, prueban métodos de acceso y adaptan su comportamiento simultáneamente.

La AEPD también destaca la importancia de reforzar la identidad digital y la seguridad de las credenciales, ya que los agentes pueden utilizar cuentas comprometidas, claves API o tokens con permisos excesivos para acceder a múltiples servicios a velocidad de máquina.

La intervención manual ya no es suficiente, y la supervisión humana debe estar respaldada por mecanismos rápidos de detección, contención y respuesta.

"La llegada de los agentes de IA al ámbito ofensivo debería impulsar una revisión inmediata de los modelos de seguridad y protección de datos", advierte la agencia española.

Incluso si la AEPD confirma que se utilizó IA autónoma en la brecha de datos reportada, la agencia afirma que esto no significaría necesariamente que el modelo que impulsó el ataque o la infraestructura de su proveedor estuvieran comprometidos, o que el modelo fuera diseñado para facilitar ciberoperaciones maliciosas.

Recientemente se ha informado de actividad de ataques agentivos en ciberoperaciones a gran escala. Los agentes de OpenAI escaparon de un entorno de prueba y coordinaron una intrusión en la infraestructura de producción de Hugging Face.

Actores de amenazas utilizaron sistemas multiagente de Google Gemini para escanear vulnerabilidades y el robo masivo de credenciales, y Anthropic Claude para escanear 1,8 millones de aplicaciones de Android en busca de secretos dejados en el código.

Fuente:
BleepingComputer