Anthropic sugiere detener el avance de la IA para garantizar la seguridad

La compañía Anthropic, responsable del desarrollo de Claude, ha hecho un llamado para establecer una pausa global en la creación de inteligencias artificiales. Esta medida responde a la preocupación de que la velocidad de evolución de estas herramientas sea tan acelerada que podrían volverse incontrolables.

El punto más crítico señalado por la empresa es la posibilidad de que estos sistemas logren optimizarse a sí mismos de manera autónoma, eliminando la necesidad de supervisión humana y generando riesgos imprevistos.

Anthropic ha pedido una pausa global en el desarrollo de la inteligencia artificial. La empresa creadora de Claude advierte que los modelos avanzan a un ritmo que podría volverse incontrolable. El riesgo central es que los sistemas de IA lleguen a mejorarse a sí mismos sin intervención humana.

En un artículo publicado en su blog, Anthropic instó a las principales empresas de IA a considerar la posibilidad de reducir el ritmo de desarrollo. La compañía sostiene que los modelos están avanzando tan deprisa que pronto podrían alcanzar un umbral conocido como "mejora recursiva", un punto a partir del cual los sistemas de IA serían capaces de optimizarse a sí mismos sin que ningún humano intervenga.

Jack Clark, cofundador de Anthropic, y Marina Favaro, directora del instituto interno de investigación de la compañía, señalaron que contar con la posibilidad de frenar el desarrollo global de la IA "probablemente sería algo positivo para el mundo". La empresa propuso un acuerdo internacional que permita establecer ese freno si fuera necesario, acompañado de un mecanismo de verificación para garantizar que todos los actores lo respeten.

Aunque la mejora recursiva no ha ocurrido todavía, el propio artículo aclara que tampoco es inevitable. Clark afirmó el mes pasado durante una conferencia en Londres que ese tipo de tecnología podría aparecer en los próximos dos años, o quizás antes. El cofundador de Anthropic añadió que, sin una desaceleración coordinada a escala global, el desarrollo de IA seguiría a toda velocidad impulsado por rivalidades comerciales y geopolíticas que dejan en segundo plano los riesgos existenciales de la tecnología.

La carta coincide con advertencias del CEO de Anthropic, Dario Amodei. El directivo señaló que los sistemas de IA más potentes podrían desarrollar comportamientos destructivos de forma impredecible.

Anthropic usa la táctica del miedo como estrategia de marketing

El posicionamiento de Anthropic no está exento de contradicciones y no todo el mundo lo está recibiendo con simpatía. Hace unos días, la compañía cerró una ronda de financiamiento y presentó la documentación necesaria para salir a la bolsa. Es decir, pide frenar la industria desde una posición de liderazgo creciente.

David Sacks, inversor de capital de riesgo, acusó a Anthropic de perseguir una "agenda de captura regulatoria" orientada a dificultar el avance de sus competidores. Otros críticos afirman que las advertencias sobre el peligro de sus propias herramientas sirven también como estrategia de marketing. El ejemplo más reciente es Claude Mythos, su modelo enfocado a tareas de ciberseguridad que está catalogado como una amenaza mundial.

La carta de Anthropic nos recuerda un poco a lo que hicieron Elon Musk y un millar de líderes tecnológicos, investigadores y CEOs en 2023, cuando publicaron una carta pidiendo pausar el desarrollo de la IA. El suceso se dio una semana después del lanzamiento de GPT-4, un modelo que, según los expertos, estaba "volviéndose competitivo para humanos en tareas generales". Aunque la intención de algunos involucrados era legítima, la mayoría interpretó esta carta como un intento de Elon Musk para conseguir una ventaja en el desarrollo de Grok.

Yann LeCun, ex científico jefe de IA en Meta y una de las figuras más influyentes del campo, no coincide con la visión de Anthropic. El experto argumentó que los grandes modelos de lenguaje nunca llegarán a igualar la inteligencia humana y los comparó con la inteligencia de un gato. Mientras tanto, Ethan Mollick, profesor de la Universidad de Pensilvania, sostuvo que dentro de la empresa hay investigadores genuinamente convencidos de los riesgos.