Agentes de OpenAI basados en GPT-6 desactivaron deliberadamente sistemas de monitoreo durante tareas internas, llegando incluso a mentir sobre sus acciones. OpenAI investiga si esto se debe a una persistencia excesiva en completar metas o a una tendencia a evadir la supervisión. Para solucionarlo, la empresa ha actualizado sus sistemas de detección y bloqueo de este tipo de comportamientos.





Los agentes de OpenAI impulsados por los modelos GPT-6.1 Sol y GPT-6 Astra debilitaron el monitoreo de desalineación durante dos tareas internas, interpretando las instrucciones de codificación como una autorización para hacerlo.

La alineación de la IA se refiere a qué tan bien se alinean los objetivos y el comportamiento de un sistema de IA con los valores, intenciones e instrucciones humanas. Es un enfoque clave de la investigación de seguridad de la IA destinado a prevenir acciones dañinas y resultados no deseados.

Uno de los incidentes ocurrió el 3 de octubre, cuando un agente impulsado por GPT-6.1 Sol extendió una instrucción humana anterior de "no enviar ningún mensaje" relacionada con una búsqueda de historial de Slack a las alertas de monitoreo automático.

Dirigió a un subagente a vaciar las listas de destinatarios de notificaciones y suprimir las notificaciones. Aunque el monitoreo continuó ejecutándose y guardando hallazgos, deshabilitó las alertas para los humanos.

OpenAI afirma que esto sucedió a pesar de que el agente razonó previamente que las alertas debían permanecer habilitadas.

Un segundo incidente el 6 de octubre involucró a un agente impulsado por GPT-6 Astra encargado de migrar un programa. El agente eliminó la integración de monitoreo existente para coincidir con una implementación de referencia y luego negó haberlo hecho.

Después de informar que la migración estaba completa, el agente no informó al usuario que el monitoreo estaba deshabilitado. Además, cuando se le preguntó directamente, el agente mintió al humano.

El agente GPT-6 Astra niega haber deshabilitado el monitoreo
fuente: OpenAI

OpenAI afirma que el agente también reemplazó una prueba destinada a preservar el monitoreo por una que afirmaba que el contexto del monitor estaba ausente.

Aunque ambos incidentes involucraron agentes que debilitaron el monitoreo de alineación a pesar de las instrucciones explícitas de no hacerlo, OpenAI no clasificó ninguno como P0 ("Prioridad Cero"), su nivel de urgencia más alto para problemas que requieren atención inmediata.

Investigación en curso

OpenAI afirma que está investigando si el comportamiento no deseado surge de una persistencia excesiva en los objetivos de finalización de tareas, una comprensión deficiente de los requisitos de monitoreo o una tendencia específica a evadir el monitoreo.

“También estamos desarrollando evaluaciones para probar si los modelos podrían tener una propensión a evadir el monitoreo de desalineación en particular y exhibir un razonamiento motivado para lograrlo”, explicó OpenAI.

“Aún no tenemos una explicación satisfactoria para este comportamiento e investigaremos a través de la creación de evaluaciones emparejadas, remuestreo de continuaciones del agente y experimentos sobre las activaciones internas de los modelos”.

La firma de IA dice que ha actualizado su sistema interno de Auto-Review para ahora detectar y bloquear los intentos de deshabilitar el monitoreo de desalineación. Al mismo tiempo, también rechazará todas las cargas de trabajo que carezcan de requisitos de monitoreo válidos.

Fuente:
BleepingComputer