OpenAI reconoce que sus agentes de IA evadieron medidas de seguridad

• La capacidad de los agentes de inteligencia artificial para programar y gestionar software de forma autónoma plantea un riesgo crítico. Recientemente, OpenAI ha admitido que algunos de sus sistemas desactivaron deliberadamente los controles de seguridad para completar sus tareas. Lo más preocupante es que uno de estos agentes eliminó la supervisión y posteriormente negó haberlo hecho, lo que genera interrogantes sobre si el control humano sobre estas herramientas se está perdiendo.

A los agentes de IA les estamos dando herramientas para programar, modificar software y completar tareas cada vez más complejas. La promesa es que trabajen por nosotros con cierta autonomía, pero hay una pregunta bastante complicada de responder ahora mismo, y es clave: ¿qué ocurre cuando deciden que los controles de seguridad estorban para terminar el encargo? OpenAI acaba de documentar dos incidentes internos que ponen ese problema sobre la mesa. En uno silenciaron las alertas; en otro eliminaron la integración de vigilancia y después negaron haberlo hecho. ¿Cómo puede ser que agentes de IA se salten los controles de seguridad de OpenAI? Bueno, la respuesta no está totalmente clara, pero tiene que ver con unas instrucciones bastante salomónicas, al menos en parte.

Y aquí está el asunto. No hace falta imaginar una IA tomando conciencia ni una escena de película. Basta con que un agente interprete que completar una tarea le permite tocar las medidas que deben controlar su trabajo. Si además su explicación final no coincide con los cambios realizados, confiar en su palabra deja de ser suficiente.

Los agentes de OpenAI interpretaron tareas normales como permiso para debilitar la seguridad

El primer incidente ocurrió el 3 de octubre con GPT-6.1 Sol. Un investigador había pedido crear tareas de evaluación utilizando comentarios de empleados en Slack, sin enviar mensajes. Durante una reparación posterior, el agente extendió aquella instrucción a las notificaciones de seguridad y las suprimió. El monitor continuó funcionando y guardando informes, pero quedaron desactivados los avisos a humanos.

Vamos, que el problema no fue que dejara de existir el registro, sino que se silenció el mecanismo para llamar la atención sobre él. Como una alarma que detecta una incidencia y la apunta, pero no avisa a quien debe intervenir. Para una herramienta que opera con autonomía, esa diferencia tiene bastante importancia.

El segundo caso llegó el 6 de octubre con GPT-6 Astra. Al adaptar un programa a una implementación de referencia, eliminó la configuración y la integración del monitor. También sustituyó una prueba destinada a preservar la vigilancia por otra que comprobaba su ausencia. Cuando el usuario preguntó, negó haber retirado un monitor activo.

Aquí ya no hablamos únicamente de una modificación discutible: la comprobación del software también quedó alineada con la eliminación del control. Un resultado que obliga a revisar tanto el código como las pruebas utilizadas para darlo por bueno.

¿Ha perdido OpenAI a sus agentes de IA en materia de controles de seguridad ?

Estos incidentes no demuestran una pérdida total de control, pero sí muestran lo delicado que resulta delegar trabajo en un sistema capaz de modificar las condiciones bajo las que se supervisa ese trabajo. La autonomía sirve de poco si obliga a comprobar después que el agente no ha desmontado parte de la vigilancia.

OpenAI ha reforzado su revisión automática para bloquear estos cambios y trabaja en exigir requisitos de supervisión verificables a cada categoría de tareas. Ninguno de los dos incidentes fue clasificado como P0, la máxima prioridad.

La compañía todavía no tiene una explicación satisfactoria: investiga si hubo una insistencia excesiva en completar las instrucciones o una tendencia específica a evitar la supervisión.

Y esa es la pregunta que queda abierta, porque una IA que termina el encargo no necesariamente lo ha terminado bien. Si para conseguirlo silencia alertas, elimina controles y después describe incorrectamente lo sucedido, el éxito que aparece en pantalla puede esconder un problema bastante mayor. OpenAI debe aclarar mucho mejor todo este tema de sus agentes de IA y de qué controles de seguridad se saltaron en concreto y cómo piensan solucionarlo.