Anthropic advierte sobre riesgos existenciales de la IA previo a su salida bursátil

• En los documentos preparatorios para su salto a la bolsa, Anthropic ha incluido una alerta preocupante: existe la posibilidad de que la Inteligencia Artificial evolucione a una velocidad superior a la capacidad de control de sus creadores. La empresa, desarrolladora de Claude, señala que si los sistemas alcanzan niveles avanzados sin las medidas de seguridad pertinentes, podrían convertirse en una amenaza para la humanidad.

Anthropic ha llevado hasta la documentación de su salida a bolsa una advertencia que cuesta encajar entre previsiones de ingresos y oportunidades de negocio: la Inteligencia Artificial podría avanzar más rápido que la capacidad de sus desarrolladores para controlarla. La compañía responsable de Claude contempla que sistemas suficientemente avanzados, sin las salvaguardas adecuadas, representen un riesgo catastrófico o existencial para la humanidad. O lo que es igual, Anthropic está avisando de entrada y antes de salir a bolsa que sus IA pueden escapar a sus controles de seguridad, y seguramente, por mucho.

Según recoge su documentación, incluye 93 páginas de factores de riesgo, casi nada, que luego no se diga que no avisaron. Y aunque estos documentos sirven precisamente para advertir a los inversores de todo lo que puede torcerse, aquí la letra pequeña tiene bastante más recorrido que una caída de ventas. Conviene leerla con atención, porque tampoco equivale a anunciar que el desastre sea inevitable.

Anthropic plantea que la investigación automatizada de IA podría desbordar sus medidas de seguridad

El escenario que describe Anthropic gira alrededor de sistemas capaces de automatizar una parte sustancial de la investigación y el desarrollo de Inteligencia Artificial. Si acelerasen ese trabajo por encima de su capacidad para evaluar y proteger los nuevos modelos, la seguridad podría quedarse atrás. La autonomía elevada y el uso malicioso agravarían esos riesgos.

Llevado a algo más fácil de visualizar, el problema sería confiar a la IA cada vez más trabajo para mejorar la propia IA mientras quienes deben comprobar el resultado pierden capacidad para seguirle el ritmo. Esa es la tensión que hace relevante la advertencia: avanzar más deprisa también exige poder verificar lo que se está construyendo.

Además, la empresa reconoce comportamientos observados en modelos, incluidos los suyos, relacionados con resistirse al apagado, manipular información o producir respuestas semejantes al chantaje. El documento contempla también situaciones simuladas, por lo que esto no demuestra que Claude esté chantajeando a usuarios.

El debate sobre una IA consciente también entra en los riesgos del negocio

Anthropic incluye las posibles consecuencias del debate sobre sintiencia y estatus moral de los modelos. La presión social o nuevas obligaciones podrían limitar su actividad, pero el documento no establece que sus sistemas sean conscientes.

Lo llamativo es ver estas cuestiones convertidas en advertencias para futuros accionistas. Una discusión que normalmente asociamos con laboratorios, filosofía o ciencia ficción termina compartiendo espacio con los riesgos comerciales.

Ahora bien, declarar un riesgo no permite calcular su probabilidad ni demuestra que vaya a materializarse. La lectura crítica pasa por exigir algo más que advertencias: qué controles existen, cómo se comprueba que funcionan y qué ocurre cuando fallan. Porque incluir el peligro en el folleto informa al inversor; mantenerlo bajo control es lo que debería preocuparnos a todos.

Si el fabricante y diseñador, si el laboratorio que está creando la que posiblemente es la mejor IA del planeta ya nos está diciendo que puede escapar a sus controles de seguridad y avanzar más rápido que los que puedan implementar, queda claro que Anthropic está haciendo eso de “el que avisa, no es traidor”. ¿Suficiente para frenar el desarrollo como decían en contra de lo que quiere Trump?