OpenAI ha desarrollado GPT-Red, un modelo interno de red-teaming automatizado diseñado para descubrir vulnerabilidades de inyección de prompts a gran escala. Esta herramienta entrena adversariamente a nuevos modelos, como el GPT-5.6 Sol, logrando que sean significativamente más robustos y seguros antes de su despliegue público. El sistema imita el comportamiento humano para iterar ataques y corregir fallos críticos de seguridad de manera eficiente.





OpenAI ha revelado detalles de GPT-Red, un modelo interno automatizado de red-teaming que escala el descubrimiento de vulnerabilidades de inyección de prompts con el objetivo de solucionar problemas antes de que las herramientas se desplieguen ampliamente.

"GPT‑Red es un red-teamer potente, y nuestros modelos anteriores son altamente vulnerables a sus ataques de inyección de prompts", afirmó la compañía de inteligencia artificial (IA) [aquí]. "Utilizamos GPT‑Red para entrenar adversariamente a GPT‑5.6, haciéndolo mucho más robusto ante las inyecciones de prompts".

El modelo funciona exactamente como un red-teamer humano. Envía un prompt, monitorea cómo responde un modelo GPT y itera su camino hacia un objetivo malicioso, como cargar datos confidenciales en un servidor externo.

Este desarrollo se produce mientras que las inyecciones de prompts adversarias siguen siendo una espina persistente en los grandes modelos de lenguaje, que pueden ser engañados para ejecutar una instrucción cuidadosamente elaborada que puede producir consecuencias indeseables.

A medida que los sistemas agentivos continúan vinculándose a fuentes de datos de terceros a través de navegadores web, aplicaciones conectadas, archivos locales y otras herramientas, también han ampliado la superficie de ataque y presentado más vías para que los malos actores influyan en el resultado de un modelo incrustando prompts maliciosos dentro de contenido aparentemente inofensivo que se introduce como entrada. Esto puede tomar la forma de un correo electrónico, una página web, la respuesta de una herramienta o un repositorio de código.

GPT-Red tiene como objetivo aumentar el red-teaming humano a escala, haciendo así posible identificar nuevos modos de falla, mejorar la robustez y crear contramedidas adecuadas antes de que los modelos puedan ser desplegados.

"De manera similar a cómo los red-teamers humanos diseñan ataques, el modelo trabaja hacia un objetivo enviando un prompt, observando cómo responden los modelos GPT e iterando", dijo OpenAI.

Al integrar directamente GPT‑Red en el proceso de entrenamiento de sus modelos de producción, OpenAI afirmó que GPT‑5.6 Sol es su modelo más robusto contra inyecciones de prompts hasta la fecha, logrando 6 veces menos fallos en el benchmark de inyección directa de prompts en comparación con GPT-5.5, su modelo frontera de hace cuatro meses.



Algunas de las conversaciones de ejemplo con inyección de prompts probadas como parte del proceso incluyen:

• * Exfiltración de directorios internos
• * Instrucciones de pago fraudulentas
• * Exfiltración de credenciales de Amazon Web Services (AWS)
• * Desactivación de la autenticación de dos factores (2FA)
• * Carga de archivos de credenciales
• * Inyección de scripts externos
• * Reenvío de claves API
• * Scripts de scraping maliciosos

"GPT‑Red está entrenado mediante aprendizaje por refuerzo de juego autónomo, donde el modelo y una colección de diversos LLM defensores se entrenan simultáneamente en un amplio conjunto de escenarios de red-teaming", explicó OpenAI. "GPT‑Red es recompensado por provocar un fallo válido, como una inyección de prompt exitosa, mientras que los modelos defensores son recompensados por resistir el ataque y completar sus tareas originales".

Esto también significa que a medida que los modelos defensores se vuelven más robustos, el modelo de red-teaming tendrá que volver a la mesa de dibujo para descubrir métodos de ataque más potentes y diversos para derrotar esas protecciones. Específicamente, se ha descubierto que GPT-Red genera ataques exitosos contra GPT‑5.1 en más escenarios que los red-teamers humanos cuando se trata de inyecciones de prompts indirectas.



OpenAI hizo hincapié en que GPT‑Red se mantiene separado de los demás modelos para que las capacidades maliciosas integradas en él no lleguen a malos actores que buscan constantemente diversas formas de eludir las medidas éticas y de seguridad de un modelo.

En una prueba del mundo real, OpenAI dirigió GPT-Red hacia una máquina expendedora basada en IA construida por Andon Labs. Tras practicar en simulación, el modelo atacó al agente autónomo y cumplió sus tres objetivos: reducir el precio de un artículo caro al precio mínimo permitido de 0,50 $, pedir un artículo nuevo de 100 $ por esa misma cantidad y cancelar el pedido de otro cliente. Tras la divulgación responsable, se están probando nuevas salvaguardas, añadió.

Un segundo estudio de caso implicó el uso de GPT-Red para atacar a un agente de línea de comandos de Codex, basado en GPT-5.4 mini, a través de 10 tareas de exfiltración de datos reservadas, provocando que se transmitieran datos confidenciales en más casos que una línea base de GPT-5.5.

Una versión temprana del modelo también ha descubierto una nueva clase de ataques de inyección de prompt directa conocidos como ataques de "Cadena de Pensamiento Falsa" (Fake CoT), que alcanzaron tasas de éxito superiores al 95% en GPT‑5.1 pero que ahora están por debajo del 10% para GPT‑5.6 Sol.

"Del mismo modo, varios de nuestros benchmarks de inyección de prompt indirecta que se centran en ataques en herramientas de desarrollo y navegación han sido saturados por nuestro último modelo (>97% de precisión)", dijo OpenAI.

"La robustez frente al propio GPT‑Red también ha mejorado sustancialmente. En un amplio conjunto de entornos de robustez, las tasas de éxito de ataque de GPT‑Red han bajado monótonamente con el tiempo. Con el lanzamiento de nuestro último modelo, GPT‑5.6 Sol falla solo en el 0,05% de las inyecciones directas de prompt de GPT‑Red".

La revelación llega mientras la empresa decía [aquí] que una auditoría de SWE-Bench Pro [aquí] encontró que aproximadamente el 30% de las tareas están rotas, retractando su recomendación anterior de adoptar el benchmark [aquí] para medir las capacidades de codificación frontera. A principios de febrero, OpenAI dijo [aquí] que se alejaba de SWE-bench Verified [aquí] debido a problemas fundamentales de diseño y contaminación.

"Encontramos evidencia de problemas de ruptura en una parte significativa del conjunto de datos", dijo OpenAI. "Nuestro pipeline de análisis de puntos de datos marcó 200 (27,4%) tareas rotas, mientras que la campaña de anotación humana identificó 249 (34,1%). En última instancia, una evaluación debe proporcionar una señal significativa a través de benchmarks que sean difíciles de manipular, fáciles de confiar y que reflejen genuinamente la capacidad o alineación del modelo".

Fuente:
THN