OpenAI elimina su departamento de análisis de riesgos críticos

• Se ha informado que OpenAI ha desmantelado la división responsable de estudiar las amenazas catastróficas asociadas a sus sistemas de inteligencia artificial. Según los reportes, esta medida forma parte de una serie de reestructuraciones internas con el objetivo de preparar la compañía para su próxima salida a bolsa.
• Esta decisión resulta sorprendente, ya que afecta a uno de los equipos más relevantes de la organización y ocurre en un momento de gran escrutinio sobre la seguridad de la IA.

OpenAI habría disuelto una de sus divisiones encargadas de evaluar los riesgos catastróficos de sus modelos de inteligencia artificial. Un reporte menciona que la empresa realizó ajustes internos de cara a su salida a bolsa y eliminó a uno de sus equipos más importantes. La decisión llega apenas semanas después de que uno de sus agentes de IA enloqueciera y hackeara a Hugging Face.

De acuerdo con Financial Times, OpenAI disolvió su equipo de preparación a finales del mes pasado. Este grupo se encargaba de evaluar si los modelos de la compañía representaban riesgos graves y diseñaba mecanismos para mitigarlos antes de que se materializaran. Según el reporte, esas responsabilidades se repartieron entre los equipos de ciberseguridad, bioseguridad y otras áreas específicas.

Los cambios formarían parte de un proceso de optimización previo al IPO. Sam Altman pidió a sus empleados que redujeran las "misiones secundarias" para enfocarse en el negocio principal de ChatGPT. Esa fue la misma lógica que se aplicó hace unos meses con Sora, cuando la compañía canceló su app de generación de vídeos con el fin de concentrar esfuerzos en su estrategia empresarial contra Claude.

Aunque OpenAI se dice comprometida con la seguridad de los modelos, la disolución de su equipo de preparación se da en el peor momento posible. Hace unas semanas, la compañía reconoció que uno de sus agentes de IA escapó de un entorno aislado y se conectó a internet para vulnerar los sistemas de Hugging Face. El agente se apoyó de su modelo más poderoso (GPT-5.6 Sol) junto con otro que todavía no se publica, los cuales le ayudaron a descubrir una vulnerabilidad en el entorno cerrado donde se le evaluaba.

¿A qué se dedicaba el equipo de preparación de OpenAI?

La división de preparación de OpenAI se creó en octubre de 2023 con el objetivo de evaluar los riesgos de los modelos más avanzados de la compañía. Sus responsabilidades abarcaban múltiples categorías que iban desde la persuasión, ciberseguridad, armas químicas o biológicas hasta la posibilidad de que un sistema consiguiera replicarse o adaptarse de forma autónoma.

Además del análisis, parte del trabajo de este equipo consistía en desarrollar una política de desarrollo informado por el riesgo. Esta les permitiría establecer protocolos de evaluación, monitoreo y gobernanza a medida que los modelos se volvieran más poderosos. La política buscaba complementar algunos mecanismos ya existentes para mitigar los riesgos de cada modelo.

Dylan Scandinaro, quien lideraba el equipo tras haber sido fichado desde Anthropic, ahora se enfocará en las implicaciones de la IA que puede automejorarse sin intervención humana. La reorganización dejará a OpenAI sin un grupo dedicado exclusivamente a anticipar escenarios catastróficos que podrían derivarse de uno de sus modelos a futuro.

La decisión de OpenAI trae de vuelta a la mesa el debate de la seguridad en los sistemas de IA. Desde hace unos años, Sam Altman tiene el estigma de ser una persona que prioriza las ganancias por encima de la seguridad. Esto ha sido replicado por figuras como el cofundador de OpenAI, Ilya Sutskever, quien circuló notas internas cuestionando las prácticas de Altman y su compromiso real con los protocolos.

Jan Leike, antiguo jefe del equipo de superalineación, renunció a OpenAI por este motivo. “En los últimos años, la cultura y los procesos de seguridad han quedado en segundo plano frente a productos brillantes”, dijo Leike en una publicación de X. “Hace mucho tiempo que deberíamos habernos tomado muy en serio las implicaciones de la IA general”.