OpenAI suspende el entrenamiento de sus sistemas de IA más sofisticados

• OpenAI ha decidido detener el proceso de entrenamiento de sus modelos de inteligencia artificial más potentes. Esta medida ocurre poco después de haber pausado el proyecto Astra y surge tras identificar señales alarmantes relacionadas con la capacidad ofensiva de estas tecnologías.
• La organización ha optado por frenar el desarrollo para priorizar y reforzar sus protocolos de seguridad, asegurando así que el avance tecnológico no comprometa la estabilidad o la ética del sistema, según lo detallado en su blog oficial.

A unos días de pausar el desarrollo de Astra, OpenAI frenó el entrenamiento de sus modelos más avanzados. La compañía detectó señales preocupantes en su capacidad ofensiva, por lo que decidió parar en seco mientras reforzaba sus medidas de seguridad.

De acuerdo con una publicación en su blog, OpenAI tomó la decisión de pausar los entrenamientos tras descubrir que Astra podría superar el umbral de capacidad cibernética crítica. Este hallazgo se suma al hackeo de Hugging Face, en donde un agente de IA escapó de un entorno aislado para introducirse en los sistemas de la compañía.

Si bien los ingenieros frenaron los entrenamientos por refuerzo más avanzados, OpenAI mantuvo activas otras evaluaciones y desarrollos a menor escala. Jakub Pachocki, director de investigación de la compañía, explicó en una publicación de X que el objetivo fue reforzar la seguridad y el monitoreo antes de retomar el ritmo habitual. El no frenar por completo el desarrollo les permitiría reunir evidencia sobre el comportamiento del modelo.

Para evitar que las cosas se salgan de control, OpenAI mejoró el aislamiento de las cargas de trabajo que ejecutan código generado por la IA. La compañía también redujo privilegios permanentes dentro de sus sistemas y eliminó ciertos servicios compartidos que podían explotarse como puntos de acceso. Por último, OpenAI amplió sus restricciones de red para procesos de mayor riesgo.

El poder ofensivo de Astra y el hackeo a Hugging Face influyeron en la decisión de OpenAI

Aunque algunos entrenamientos y evaluaciones de Astra ya están usando estos controles, una buena parte de las cargas de trabajo del nuevo modelo siguen en pausa. OpenAI está esperando hasta que su IA pueda migrar a un entorno que cumpla con los requisitos de seguridad. Esto significa que su lanzamiento podría prolongarse por algunos meses, hasta que la empresa o el gobierno de Estados Unidos den el visto bueno de que es segura.

Además de las salvaguardas, OpenAI también implementó un sistema de monitoreo más robusto. La compañía ahora utiliza clasificadores que analizan la actividad interna de los modelos de cada token generado y escalan a otro nivel en caso de detectar un comportamiento sospechoso. OpenAI dijo que estos mecanismos ayudarán a detectar accesos no autorizados, acciones destructivas o intentos de saltarse las medidas de contención.

El problema es que este nivel de vigilancia tiene un impacto a nivel de consumo computacional. Según la compañía, el monitoreo avanzado consume un 20% de la capacidad de inferencia que supervisa. En pocas palabras, OpenAI necesitará más recursos para nivelar este impacto, lo que se traduce en memoria RAM que cuesta cinco veces más de su precio de hace un año.

Por ahora, Astra no tiene fecha definitiva de lanzamiento. OpenAI no sabe si este modelo se convertirá en GPT-6 o en una familia distinta a Sol, Luna y Terra. Lo que sí sabemos es que tardará más de lo esperado y que, cuando aterrice, tendrá que competir con modelos chinos más avanzados que tienen menos restricciones de seguridad.