OpenAI sufre una nueva baja en su equipo de seguridad

• David Robinson, quien formó parte de OpenAI durante tres años y medio, ha decidido dejar la empresa. Antes de su salida, el especialista lanzó una contundente advertencia señalando que el ritmo actual de evolución de la inteligencia artificial es tan acelerado que ya no hay margen para cometer errores en su desarrollo.

Un responsable vinculado a la seguridad de OpenAI ha abandonado la compañía, no sin antes lanzar una seria advertencia sobre la velocidad a la que está evolucionando la inteligencia artificial. En concreto hablamos de David Robinson, que trabajó durante tres años y medio en OpenAI, y que considera que la industria está entrando en una etapa en la que ya no puede permitirse el lujo de desarrollar sistemas mediante un proceso de prueba, error y posterior corrección.

David explicó los motivos de su salida en un artículo publicado en The Atlantic bajo el contundente título Dejé OpenAI porque su cultura está deteriorada. Su principal crítica no está dirigida únicamente contra una política concreta, sino contra una cultura empresarial centrada en avanzar a cualquier coste y solucionar los problemas después de que aparezcan, una estrategia que considera cada vez más peligrosa a medida que los modelos de IA aumentan sus capacidades.

Uno de los responsables de la seguridad de OpenAI advierte que "el tiempo para la prueba y error se ha acabado"

Durante sus los tres años y medio de trabajo en OpenAI, David participó en la elaboración de su Marco de Preparación y supervisó los informes de seguridad relacionados con 12 lanzamientos de modelos de frontera. Según explica, la velocidad con la que OpenAI pasa de un lanzamiento al siguiente está dificultando alcanzar el nivel de precaución que considera necesario.

Uno de los puntos centrales de su crítica es lo que OpenAI denomina despliegue iterativo. Bajo esta filosofía se lanzan progresivamente sistemas de IA, se estudian los problemas que aparecen durante su uso y posteriormente se refuerzan las medidas de seguridad. David reconoce que esta estrategia ha permitido avanzar rápidamente, pero advierte de que implica aceptar que periódicamente aparecerán fallos. El problema es que, cuanto más capaces sean los sistemas, mayores pueden ser también las consecuencias de esos errores. Y ya hemos visto como estos errores se han materializado incluso con agentes de IA atacando a servidores de gobiernos como el de Australia.

Por este motivo sostiene que "el tiempo para la prueba y error ha terminado". En su opinión, los futuros sistemas avanzados de IA deberían desarrollarse utilizando metodologías más próximas a las de sectores como la energía nuclear o la aviación, donde la seguridad se diseña de forma preventiva mediante múltiples capas de protección, redundancias y procedimientos destinados a evitar que un único fallo pueda convertirse en una catástrofe. Pero claro, eso en la IA retrasaría los plazos para el lanzamiento de un nuevo modelo en plena carrera mundial por dominar la IA.

Por su parte, la compañía defiende detendrá el desarrollo cuando considere que un modelo no es seguro

David también advierte de otro problema: las capacidades de los modelos están aumentando más rápidamente que el conocimiento científico disponible para garantizar su alineamiento. Es decir, la industria está mejorando la capacidad de los sistemas para razonar, actuar de manera autónoma o realizar tareas complejas a mayor velocidad de la que mejora su comprensión sobre cómo garantizar que esos sistemas se comporten siempre conforme a los objetivos humanos.

El ahora exempleado considera que el problema es también cultural. Describe una industria caracterizada por una enorme confianza en su capacidad para resolver los problemas técnicos y por ciclos de trabajo que funcionan prácticamente como "sprints perpetuos". Esa mentalidad ha permitido avances extraordinariamente rápidos, pero David cree que puede resultar incompatible con el nivel de prudencia necesario si en el futuro aparecen sistemas de IA capaces de superar a los humanos en determinadas tareas y cuyo comportamiento resulte difícil de controlar.

Evidentemente, OpenAI rechaza la idea de que esté avanzando independientemente de los riesgos. Un portavoz aseguró a Reuters que la compañía estaba trabajando para evitar que sus modelos lleguen a ser más capaces de lo que puede gestionar y proteger de forma segura, afirmando que OpenAI puede pausar entrenamientos o retener modelos cuando considera necesario reducir el ritmo.