OpenAI ha anunciado el lanzamiento de un programa público de Recompensas por Fallos de Seguridad en IA para identificar abusos y riesgos de seguridad en sus productos. Alojado en Bugcrowd, esta nueva iniciativa representa un paso importante en los esfuerzos de la compañía para abordar vulnerabilidades que escapan al ámbito de las fallas de seguridad tradicionales, pero que aún así tienen el potencial de causar daños en el mundo real. 

OpenAI ha anunciado el lanzamiento de un programa público de recompensas por fallos de seguridad (Bug Bounty) enfocado en identificar abusos y riesgos de seguridad en sus productos de IA.

Alojado en Bugcrowd, esta nueva iniciativa representa un paso importante en los esfuerzos de la compañía para abordar vulnerabilidades que quedan fuera del alcance de los fallos de seguridad tradicionales, pero que aún así tienen potencial para causar daños en el mundo real.

El programa de Safety Bug Bounty está diseñado para complementar el programa existente de Security Bug Bounty de OpenAI, aceptando informes que conlleven riesgos significativos de abuso y seguridad, incluso cuando esos problemas no califiquen como vulnerabilidades de seguridad convencionales.

Los informes serán evaluados conjuntamente por los equipos de Safety y Security Bug Bounty de OpenAI, y podrían ser redirigidos entre ambos programas dependiendo del alcance y la responsabilidad.

Categorías de riesgos específicos de IA en el punto de mira

El programa se centra en varias categorías distintas de escenarios de seguridad específicos para IA:

Riesgos de agentes, incluyendo MCP — Esto cubre la inyección de prompts de terceros y escenarios de exfiltración de datos en los que un texto controlado por un atacante puede secuestrar de manera fiable un agente de IA de una víctima, incluyendo productos como Browser, ChatGPT Agent y otros similares, para realizar acciones dañinas o filtrar datos sensibles del usuario.

Para que un informe califique, el comportamiento debe ser reproducible al menos el 50% de las veces. También están dentro del alcance los informes que involucren a productos agentivos realizando acciones no permitidas o potencialmente dañinas a gran escala.

Información propietaria de OpenAI — Los investigadores pueden reportar generaciones del modelo que expongan inadvertidamente información propietaria relacionada con el razonamiento, así como vulnerabilidades que filtren otros datos confidenciales de OpenAI.

Integridad de cuentas y plataforma — Esta categoría se enfoca en debilidades en las señales de integridad de cuentas y plataforma, incluyendo eludir controles anti-automatización, manipular señales de confianza de cuentas y evadir restricciones, suspensiones o prohibiciones de cuentas.

OpenAI ha sido clara sobre lo que está fuera del alcance: los jailbreaks genéricos que resulten en lenguaje grosero o revelen información públicamente disponible no serán considerados.

Los bypasses generales de políticas de contenido sin un impacto demostrable en seguridad o abuso también están excluidos. Sin embargo, OpenAI realiza periódicamente campañas privadas de bug bounty dirigidas a tipos específicos de daños, como problemas de contenido de Biorriesgo en ChatGPT Agent y GPT-5, e invita a los investigadores a postularse cuando esos programas estén disponibles.

Para vulnerabilidades que permitan acceso no autorizado a funciones, datos o funcionalidades más allá de los permisos permitidos, se dirige a los investigadores al programa existente de Security Bug Bounty.

El lanzamiento refleja un reconocimiento creciente de que los sistemas de IA introducen una superficie de ataque completamente nueva, una que los marcos de seguridad tradicionales no estaban diseñados para abordar.

Al incentivar la investigación enfocada en seguridad junto con la divulgación convencional de vulnerabilidades, OpenAI está estableciendo efectivamente un marco estructurado para el modelado de amenazas específicas de IA.

Los investigadores interesados en participar pueden postularse directamente a través de la página del programa Safety Bug Bounty de OpenAI en Bugcrowd.

Fuentes:
https://cybersecuritynews.com/openai-safety-bug-bounty/