Anthropic anuncia una IA capaz de mejorarse infinitamente y solicita que las compañías detengan su desarrollo si el sistema se vuelve incontrolable para evitar peligros globales.

• Anthropic presenta una inteligencia artificial capaz de optimizarse a sí misma de forma infinita, lanzando al mismo tiempo una advertencia global: solicita que todas las empresas detengan el progreso de la IA en caso de que este sistema se vuelva incontrolable.
• A pesar de este llamado, la compañía sostiene que es improbable que las firmas tecnológicas frenen su avance, incluso si esto supusiera un riesgo real para la humanidad.

La compañía Anthropic está arrasando con Claude Code y Mythos, y quizá por eso, porque diseña la IA y los agentes de IA de frontera, sabe mejor que nadie de lo que será capaz en un futuro no muy lejano. Continuamente lanza avisos sobre el peligro al que se enfrenta la humanidad, aunque a la mayoría de su compentencia solo les importa ganar dinero, y posicionarse mejor que el rival en la carrera por la IA.

En la última entrada de su blog, “Cuando la inteligencia artificial se construye a sí misma”, Anthropic alerta de un nuevo tipo de IA: la que se mejora a sí misma de forma indefinida, sin intervención humana.

Es una IA especialmente peligrosa, y por eso la compañía de Dario Amodei pide una utopia: un acuerdo entre todas la compañías de IA para ralentizar o detener su evolución, si estos modelos con automejora recursiva, se les escapan de las manos.

Los peligros de una IA que se automejora

Anthropic dice en su blog: “Si se lleva lo suficientemente lejos y se dispone de la potencia de cálculo necesaria, la tendencia apunta hacia un sistema de IA capaz de diseñar y desarrollar de forma totalmente autónoma a su propio sucesor. A esto se le denomina “automejora recursiva”. Aún no hemos llegado a ese punto, y la automejora recursiva no es inevitable. Pero podría llegar antes de lo que la mayoría de las instituciones están preparadas para afrontar”.

La IA con automejora recursiva aún no está aquí, pero llegará, porque cualquiera que usa IA, puede intuirla. Los modelos grandes ya son capaces de crear código por su cuenta para completar tareas que les encargan los humanos. Generar ese mismo código para mejorarse a sí misma, o crear a su sucesor, es el siguiente paso.

El concepto de “tener un hijo”, aplicado a la inteligencia artificial. Escalofriante.

El problema es que la solución que propone Anthropic es tan cándida como inviable. Un consenso entre compañías para detener o ralentizar esa evolución, antes de que la IA decida evolucionar por su cuenta.

Las compañías de IA han invertido billones en centros de datos, infraestructura e investigación, y no van a parar por algo tan trivial como el fin de la humanidad. Su finalidad es ganar dinero y aplastar a la competencia, lo que le ocurra a la humanidad es secundario. Ya lo hemos visto con la contaminación y el cambio climático.

El profesor Noah Giansiracusa, profesor asociado de Matemáticas en la Universidad de Bentley, también lo tiene muy claro. Dice en Scientific American: “Es literalmente imposible. No hay ninguna posibilidad de que se produzca una desaceleración. Ni siquiera me refiero a China: Elon Musk nunca bajaría el ritmo”.