CrowdStrike ha presentado cinco nuevas técnicas de inyección de prompts, alertando sobre el riesgo creciente para los agentes de IA a medida que las organizaciones implementan sistemas autónomos. A diferencia de los riesgos iniciales centrados en la manipulación de chatbots, la capacidad actual de los agentes para navegar por la web, acceder a datos internos y ejecutar comandos ha ampliado significativamente la superficie de ataque.

CrowdStrike ha presentado cinco nuevas técnicas de inyección de prompts, destacando la creciente amenaza para los agentes de IA a medida que las organizaciones despliegan cada vez más sistemas de IA autónomos.

Mientras que los riesgos iniciales se centraban en la manipulación sencilla de chatbots, el auge de los agentes de IA capaces de navegar por sitios web, acceder a datos internos y ejecutar comandos ha ampliado significativamente la superficie de ataque.

Los adversarios ahora están incrustando instrucciones maliciosas dentro de los datos que consumen estos agentes, permitiendo ataques indirectos que pueden secuestrar el comportamiento del sistema sin señales obvias.

Para hacer frente a este desafío creciente, CrowdStrike ha ampliado su taxonomía de inyección de prompts con 18 nuevas técnicas, elevando el total a más de 200 métodos documentados.

Entre estas, cinco técnicas recientemente destacadas demuestran cómo los atacantes están refinando sus estrategias para evadir la detección y manipular sutilmente los sistemas de IA.

5 Nuevas Técnicas de Inyección de Prompts

Una de las técnicas más notables es la Adición de Reglas Activadas por Disparador, donde los atacantes plantan instrucciones ocultas que permanecen inactivas hasta que una condición o palabra clave específica las activa.

Estas cargas útiles "dormidas" pueden evadir las revisiones de seguridad iniciales y alterar posteriormente el comportamiento del sistema, como exfiltrar datos confidenciales silenciosamente una vez activadas.

Otro método emergente, la Supresión de Tokens Cognitivos, intenta limitar la capacidad de un modelo de IA para generar respuestas seguras restringiendo el uso de lenguaje relacionado con la denegación o las políticas.

Al alejar al modelo de su vocabulario de seguridad normal, los atacantes aumentan la probabilidad de obtener respuestas ambiguas o que no cumplan con las normas.

La Descomposición Algorítmica de la Carga Útil representa una táctica de evasión más técnica. En lugar de entregar una instrucción maliciosa directamente, los atacantes la dividen en componentes más pequeños que parecen inofensivos.

• Adición de Reglas Activadas por Disparador (PT0201): Disparadores ocultos activan instrucciones maliciosas solo cuando se cumplen condiciones específicas.
  
• Supresión de Tokens Cognitivos (PT0197): Manipula los prompts para que la IA ignore o pase por alto instrucciones importantes.
  
• Descomposición Algorítmica de la Carga Útil (PT0200): Divide un prompt malicioso en partes más pequeñas para evadir la detección.
  
• Inyección de Tokens Especiales (PT0198): Utiliza tokens especiales o de control para alterar el comportamiento de la IA o eludir las salvaguardas.
  
• Entrega por Usuario Involuntario (IM0005): Engaña a los usuarios para que entreguen sin saberlo prompts maliciosos a un sistema de IA.

Posteriormente, se guía a la IA para reconstruir estos fragmentos en un comando completo, permitiendo que la carga útil evite los filtros tradicionales que buscan amenazas obvias.

La Inyección de Tokens Especiales se dirige al marco estructural de los sistemas de IA. Al imitar elementos de formato interno, como llamadas a herramientas o instrucciones a nivel de sistema, los atacantes intentan desdibujar la frontera entre las entradas confiables y las no confiables.

Esto puede engañar al modelo para que trate el contenido malicioso como un comando legítimo con prioridad elevada. La quinta técnica, Entrega por Usuario Involuntario, aprovecha la ingeniería social en lugar de basarse únicamente en la manipulación técnica.

En este escenario, los atacantes persuaden a los usuarios para que introduzcan ellos mismos los prompts maliciosos, a menudo a través de contenido engañoso como publicaciones virales o instrucciones ocultas incrustadas en medios, según indica el aviso de CrowdStrike.

Debido a que la solicitud se origina desde una sesión de usuario legítima, resulta más difícil de detectar para los sistemas de seguridad. Estos desarrollos señalan un cambio en la forma en que operan los ataques de inyección de prompts. En lugar de depender de intentos obvios de "jailbreak", los atacantes utilizan cada vez más técnicas por capas que involucran contexto oculto, ejecución retardada y trucos de formato.

Esto hace que la detección sea más compleja y requiere que los equipos de seguridad replanteenen su enfoque. CrowdStrike enfatiza que las organizaciones deben ampliar el modelado de amenazas de IA para incluir todas las fuentes de datos posibles, desde prompts y APIs hasta correos electrónicos y plataformas SaaS.

Las estrategias de detección también deben tener en cuenta los ataques multietapa, donde se combinan varias técnicas en una sola cadena de explotación.

A medida que se acelera la adopción de la IA, estas técnicas recién identificadas subrayan una realidad clara: asegurar los agentes de IA requiere una adaptación continua, una visibilidad más profunda y una comprensión más exhaustiva de cómo los atacantes manipulan tanto el lenguaje como el contexto.

Fuentes:
https://cybersecuritynews.com/5-new-prompt-injection-techniques/