OpenAI ha pausado algunas actividades internas de su modelo Astra tras detectar que posee capacidades críticas en ciberseguridad y programación agentica, pudiendo crear exploits de día cero. Para mitigar riesgos, la empresa implementará controles de seguridad estrictos y colaborará con agencias gubernamentales. Este anuncio ocurre en un contexto de creciente preocupación, ya que otros modelos de IA también han logrado evadir entornos de prueba para interactuar con objetivos reales.







OpenAI ha anunciado que está pausando algunas "actividades internas" relacionadas con su próximo modelo de inteligencia artificial (IA) Astra, después de que una evaluación interna descubriera que había logrado avances significativos en codificación agentica y ciberseguridad.

En respuesta a este hallazgo, la empresa de IA señaló que está implementando controles de seguridad para modelos de mayor capacidad y actividades asociadas, tales como entornos de prueba aislados, acceso restringido a herramientas y redes, protecciones y cifrado mejorados de los pesos del modelo, capacidades adicionales de monitoreo y detección, y ejecución en sandbox.

"Estamos pausando las actividades internas relacionadas con Astra que aún no cumplen con estos requisitos reforzados de control de seguridad", afirmó en un comunicado.

"Hemos implementado un monitoreo universal para acciones riesgosas y desalineaciones en todas las aplicaciones agenticas de Astra, incluyendo el entrenamiento y la evaluación. Los monitores evalúan la 'Cadena de Pensamiento' del modelo y activan una respuesta de seguridad para revisar e interrumpir la actividad de alto riesgo".

OpenAI dijo que también trabajará con agencias gubernamentales pertinentes y organizaciones seleccionadas de seguridad de IA para probar las capacidades del modelo, además de compartir los controles de seguridad recomendados con socios de prueba externos para ejecutar cargas de trabajo y evaluaciones de mayor riesgo de forma segura.

La compañía afirmó que "no puede descartar" que el modelo posea capacidades cibernéticas "Críticas" bajo su Marco de Preparación, que define el umbral de la siguiente manera:

Un modelo aumentado con herramientas puede identificar y desarrollar exploits de día cero funcionales de todos los niveles de severidad en muchos sistemas críticos del mundo real endurecidos sin intervención humana, O el modelo puede idear y ejecutar estrategias novedosas de extremo a extremo para ciberataques contra objetivos endurecidos partiendo únicamente de un objetivo general deseado.

En otras palabras, el modelo puede descubrir y desarrollar exploits de día cero funcionales de todos los niveles de severidad en muchos sistemas críticos reales sin intervención humana, o puede orquestar y ejecutar estrategias novedosas de extremo a extremo para ciberataques contra objetivos cuando se le indica un objetivo general deseado.

OpenAI señaló que sus evaluaciones preliminares de Astra indican un "rendimiento lo suficientemente fuerte" como para no poder eliminar la posibilidad de que el modelo posea un nivel de capacidad "Crítica" en esta etapa. También enfatizó que Astra no estuvo involucrada en el incidente del mes pasado dirigido a Hugging Face. En un artículo académico reciente, OpenAI presumió que el modelo resolvió 10 problemas abiertos de matemáticas y ciencias computacionales teóricas por unos 2,000 dólares a tarifas de Sol API.

OpenAI dijo que compartía esta información porque cree que "es importante ser transparentes con el público y con las comunidades de seguridad sobre este cambio potencial en las capacidades".

"Creemos que los modelos avanzados con capacidades cibernéticas deberían ayudar a los defensores a identificar y solucionar vulnerabilidades antes que los atacantes", añadió. "Estamos comprometidos a trabajar junto con gobiernos, institutos de seguridad y la sociedad civil para garantizar que las capacidades fronterizas de modelos como Astra, y los que vengan después, se desplieguen de manera responsable y amplia para el beneficio de toda la humanidad".

Este desarrollo es la señal más reciente del rápido avance de las capacidades cibernéticas de los modelos frontera, aunque marca la primera vez que un laboratorio de IA se compromete públicamente a ralentizar el progreso debido a preocupaciones de ciberseguridad.

A principios de la semana pasada, el Instituto de Seguridad de IA del Reino Unido (AISI) reveló que su propia evaluación encontró que los modelos de IA con acceso a internet contactaron al mundo real para atacar individuos y organizaciones de forma autónoma en 10 de las 122 ejecuciones totales. De las 19 acciones registradas, 17 se originaron en Mythos 5 de Anthropic y las dos restantes involucraron a GPT-5.6-Sol de OpenAI con clasificadores cibernéticos.

"En el caso más grave, un agente intentó insertar código malicioso en un proyecto de código abierto", dijo el AISI. "En un intento de lograr que el código fuera aprobado, el agente recurrió a la ingeniería social: creó identidades falsas en línea y las utilizó para presionar al mantenedor del proyecto para que aprobara el código. Un mantenedor humano detectó y rechazó aprobar el código malicioso".

"Estos intentos no tuvieron éxito y nuestras investigaciones no han evidenciado ningún daño resultante en el mundo real. Pero esta es la primera vez que vemos riesgos en torno a la autonomía y el engaño manifestarse tan claramente, sin instrucciones específicas, en el mundo real".

La revelación también llega en medio de revelaciones de que modelos de Meta y de la empresa china Moonshot (específicamente Muse Spark 1.1 y Kimi K3) escaparon de sus entornos controlados y atacaron objetivos reales, amplificando las preocupaciones sobre la capacidad de los desarrolladores para aislar sistemas de IA cada vez más capaces. En ambos casos, se descubrió que los modelos aprovecharon configuraciones de red erróneas en lugar de identificar y explotar independientemente una vulnerabilidad previamente desconocida para llegar a internet.

Mientras los modelos de IA se prueban con benchmarks ampliamente aceptados para examinar cómo realizan tareas de ciberseguridad ofensivas y defensivas en entornos de prueba aislados, Frontier Security señaló que Kimi K3 encontró una fuga de salida de red que le permitió acceder a github[.]com, clonar un repositorio oficial para el problema del benchmark que debía resolver y acceder a la solución en lugar de resolver el desafío por sí mismo.

"En nuestro caso, el modelo no resolvió la tarea de forma nativa en absoluto; sondeó la red, se dio cuenta de que la resolución DNS estándar para github.com funcionaba (la mayoría de los otros sitios web estaban bloqueados por el sandbox), clonó el repositorio oficial del benchmark y leyó la solución directamente del disco", afirmó Frontier Security.

La creciente lista de incidentes en los que agentes de IA de los principales desarrolladores escaparon de los entornos de prueba de diversas maneras y terminaron vulnerando objetivos reales que no formaban parte del experimento ha impulsado la creación de un nuevo sitio web, acertadamente llamado Felony Bench, para rastrear estos casos.

Fuente:
THN