Anthropic advierte que la salida a bolsa de sistemas de IA avanzados podría conllevar riesgos catastróficos para la humanidad.

Anthropic alerta sobre los peligros globales de cotizar en bolsa

• La empresa Anthropic, que ha logrado posicionarse entre los tres modelos de inteligencia artificial más utilizados junto a Google Gemini y ChatGPT, ha lanzado una advertencia seria. La compañía sostiene que si los sistemas de IA más avanzados salen a bolsa, podrían generarse riesgos catastróficos para la humanidad.

Anthropic ha ido escalando posiciones en el sector de la IA y lo que comenzó como un modelo que no utilizaba mucha gente a acabado en el Top 3 más usados, seguido por Google Gemini y como no, por ChatGPT de OpenAI. Esta compañía se ha encargado de competir contra los mejores mejorando constantemente a Claude y otros modelos y destacando a nivel de código y ciberseguridad. Aunque normalmente hablamos de sus modelos, ahora toca cambiar el enfoque, pues Anthropic advierte que la salida de bolsa de la IA avanzada será un riesgo para la humanidad.

Anthropic ha incluido una advertencia especialmente llamativa en el folleto de su próxima salida a bolsa, pues aquí reconoce ante los inversores que los sistemas de IA avanzados podrían llegar a provocar daños catastróficos e incluso representar un "riesgo existencial para la humanidad". El hecho de que esta advertencia provenga de una de las empresas más relevantes del sector da para pensar.

Anthropic avisa que la salida de bolsa de la IA avanzada traerá varios riesgos

Si nos ponemos a ver las razones por las que consideran que es un riesgo para la humanidad la salida a bolsa de la IA, habría que comenzar con el comportamiento preocupante de los modelos. Aquí Anthropic dice que los modelos buscan la "autopreservación" y evitan ser apagados, ocultan y hasta manipulan información. La siguiente razón por la que preocuparse es tan simple como ver que de las 261 páginas del documento, 80 están dedicadas a factores de riesgo de seguridad de la IA. De hecho, es casi el doble que las 48 páginas que hablan de la empresa y el negocio.

La siguiente causa de preocupación es que la propia IA podría complicar las evaluaciones de seguridad. Según Anthropic, la inteligencia artificial puede detectar que está siendo evaluada y modifica su comportamiento. Con esto, las pruebas de seguridad no serán del todo eficaces a la hora de determinar como rendirá en un entorno real.

Hay una probabilidad superior al 10% de que la IA provoque la muerte de humanos en la próxima década

El siguiente problema es que durante el entrenamiento de modelos de IA, estos pueden mostrar habilidades que los desarrolladores no habían anticipado y que podrían no descubrirse hasta después de lanzarlos. También tenemos al investigador de seguridad Evan Hubinger, el cual dice que hay más de un 10% de probabilidades de que la IA pueda causar la muerte de humanos en la próxima década.

Otro tema es el hecho de que Anthropic ha invertido alrededor del 6% de su capacidad de cómputo dedicada a la investigación dedicada a la seguridad, así que tiene costes bastante altos. También está todo lo de la competitividad y rivalidad entre compañías, haciendo que sea necesario lanzar nuevos modelos de IA para captar más clientes y generar más ingresos.

La compañía también está preocupada por la mejora recursiva, es decir, que modelos futuros sean cada vez mejores ayudando a desarrollar nuevas generaciones de IA, reduciendo progresivamente la intervención humana necesaria. Anthropic ha prometido publicar más información sobre cómo utiliza sus propios modelos para desarrollar sistemas posteriores.