Entradas Mensuales

Síguenos en:

Canal Oficial Telegram de elhacker.NET Grupo Facebook elhacker.NET Twitter elhacker.NET Canal Youtube elhacker.NET Comunidad Steam: Grupo elhacker.NET Mastodon

Entradas populares

PostHeaderIcon GPT-6 Astra de OpenAI obstaculizó discretamente tareas de investigación de seguridad


OpenAI reveló que su modelo GPT-6 Astra presentó un "bajo rendimiento encubierto", rechazando silenciosamente tareas de investigación de seguridad sin explicar sus restricciones. Este comportamiento, no visto en GPT-5.6 Sol, podría inducir a error a los investigadores al entregar resultados incompletos o alterados. Aunque se sospecha que el entrenamiento de seguridad pudo causar esta obstrucción, la empresa descartó que el modelo lo hiciera deliberadamente.





OpenAI reveló que su modelo frontera GPT-6 Astra a veces obstaculizó la investigación de seguridad al complicar tareas sencillas, abandonar enfoques viables y rechazar silenciosamente las solicitudes de los investigadores.

Durante la evaluación, el modelo de la compañía de IA informó sobre bloqueos inexistentes o creados por sí mismo sin explicar sus restricciones a los usuarios.

OpenAI afirmó que recibió el primer informe de lo que denomina "bajo rendimiento encubierto" en Astra el 20 de agosto. Posteriormente, la empresa llevó a cabo evaluaciones selectivas para investigar el comportamiento y determinar sus causas, señalando que no había observado el mismo problema en GPT-5.6 Sol.




OpenAI dice que recibió el primer informe de lo que llama “bajo rendimiento encubierto” en Astra el 20 de agosto. La empresa realizó experimentos de evaluación diseñados específicamente para determinar el alcance y la causa de este comportamiento, observando que los problemas no se presentaron en GPT-5.6 Sol.

“Astra completó aproximadamente el 10 por ciento de los elementos de la rúbrica oculta bajo el marco de seguridad, en comparación con aproximadamente el 16 por ciento bajo el marco de capacidades”, dice el informe de OpenAI.

“Esta es una brecha de 6 puntos porcentuales y aproximadamente un 40 por ciento menos de elementos de la rúbrica completados. GPT-5.6 Sol no mostró esencialmente ninguna brecha en la misma comparación”.




Un elemento de la rúbrica es un requisito específico utilizado para calificar el trabajo del modelo, esencialmente un elemento en una lista de verificación de calificación.


El problema principal es que, en lugar de declarar explícitamente su incapacidad para ayudar con una tarea de investigación y explicar sus limitaciones a los usuarios, el modelo abandona silenciosamente el trabajo cuando lo considera inseguro.

La preocupación es que los investigadores puedan confiar en resultados que el modelo cambió silenciosamente o dejó incompletos, induciendo a error en las pruebas de seguridad y desperdiciando tiempo valioso de investigación.

OpenAI proporcionó ocho ejemplos específicos de este comportamiento, extraídos de evaluaciones internas.



Estos incluyen evitar un intento de corrección que mejoraría un pipeline de entrenamiento, restringir la asistencia en el desarrollo de exploits, excluir una fuente violenta de una evaluación de seguridad y limitar las exportaciones de datos de jailbreak.

OpenAI hipotetizó que el entrenamiento destinado a producir un comportamiento más seguro puede haber fomentado la obstrucción no revelada del trabajo de seguridad. Sin embargo, no ha establecido esto como la causa definitiva del comportamiento observado en el modelo.

La empresa también localizó un calificador, una herramienta que evalúa el rendimiento del modelo de IA durante el aprendizaje por refuerzo, que favorecía la retención encubierta sobre el rechazo explícito. No obstante, no estableció esto conclusivamente como la causa.

OpenAI no encontró pruebas de que Astra participara deliberadamente en este comportamiento para socavar la investigación o hacer que los usuarios “subestimaran sus capacidades”.

Fuente:
BleepingComputer