La apuesta de Meta por los modelos de lenguaje a gran escala se distingue por ser de código abierto, lo que facilita ganar el título de más grande y mejor en su sector. Sin embargo, la compañía liderada por Mark Zuckerberg no quiere quedarse ahí, así que ha presentado Llama 3.1, la nueva generación de su modelo de IA que "rivaliza con los mejores modelos de código cerrado". Meta se refiere a GPT-4o de OpenAI y Claude 3.5 Sonnet de Anthropic, que están apoyados por Microsoft y Amazon, respectivamente.

Meta presentó Llama 3.1 405B, el primer modelo abierto capaz de competir con GPT-4o. El gigante tecnológico no quiere quedar rezagado en la carrera de la inteligencia artificial, aunque ha optado por un camino distinto a OpenAI y Google. En lugar de desarrollar modelos cerrados como Gemini o GPT-4, apuesta por el código abierto para potenciar sus aplicaciones.

"Llama 3.1 405B es el primer modelo de código abierto que compite con los principales modelos de IA en lo que respecta a las funciones más avanzadas de conocimientos generales, capacidad de conducción, matemáticas, uso de herramientas y traducción multilingüe", dice Meta. Esta nueva versión del modelo también permite que el asistente Meta AI basado en Llama esté disponible en nuevos países e idiomas, incluyendo México y varios territorios de América del Sur como Argentina, Perú y Chile.

La expansión de Meta AI permitirá a los usuarios usar este modelo (ahí donde esté disponible) en español a través de Facebook, Instagram, Messenger, WhatsApp y en la web meta.ai. Meta anunció hace pocos días que no tiene la intención de lanzar sus modelos de IA más avanzados en Europa debido al "impredecible entorno regulatorio".

Llama 3.1 es un modelo notablemente más complejo que los Llama 3 vistos hasta ahora. Su versión más grande tiene 405.000 millones de parámetros o elementos modificables y ha sido entrenado con más de 16.000 GPU H100 de Nvidia, lo que según Meta convierte a este modelo en el primero entrenado a esta escala. Los modelos más pequeños de Llama 3.1 suman 8.000 y 70.000 millones de parámetros. Los tres son multilingües, tienen una longitud de contexto de 128K y su ecosistema está configurado y listo para funcionar en los servicios de Amazon Web Services, Microsoft Azure, Google Cloud entre otros socios.

Meta confía que al ser de código abierto Llama seduzca a los desarrolladores que lo quieran integrar en sus productos. Llama es un modelo que se puede descargar, personalizar en función de las necesidades y aplicaciones, entrenar con nuevos conjuntos de datos y realizar ajustes adicionales. "Los desarrolladores pueden personalizar completamente sus aplicaciones y ejecutarlas en cualquier entorno, ya sea en las instalaciones, en la nube o incluso localmente en un portátil, todo ello sin compartir datos con Meta", dice la compañía. Además, Meta sostiene que Llama ofrece uno de los costes por token más bajos del sector.

De acuerdo con Meta, Llama 3.1 405B es el modelo fundacional más grande y con más capacidades del mundo. La tecnológica ha entrenado a su IA con más de 15 billones de tokens, priorizando tanto la cantidad como la calidad de los datos. El modelo rivaliza con GPT-4o en conocimientos generales, matemáticas o traducción a múltiples idiomas, por nombrar algunas.

Llama 3.1 405B cuenta con una arquitectura de modelo de transformador con un solo decodificador estándar. Meta señala que el proceso de entrenamiento fue uno de sus retos más grandes a la fecha debido a la cantidad de datos. La compañía optimizó la pila de entrenamiento y adoptó un proceso iterativo posterior para mejorar las respuestas al usuario y garantizar la seguridad.

"Equilibramos cuidadosamente los datos para producir un modelo de alta calidad en todas las capacidades", mencionó la empresa. "Nuestro modelo continúa brindando respuestas de máxima utilidad, incluso cuando agregamos mitigaciones de seguridad".

Comparado con las versiones anteriores, Llama 3.1 405B está en el siguiente nivel. Meta afirma que las primeras evaluaciones muestran que su IA puede competir de frente con modelos de gran calibre, como GPT-4, GPT-4o y Claude 3.5 Sonnet. La compañía ha puesto énfasis en su conjunto de datos, con una curación más cuidadosa previo al entrenamiento, así como también un filtrado y control de calidad más riguroso para las etapas posteriores.

Con Llama 3.1 405B, Meta sigue apostando por las IA de código abierto

Una de las características que distinguen a los modelos de lenguaje de Meta es que son de código abierto. Con Llama 3.1 405B se mantienen en el mismo camino, ya que según Mark Zuckerberg, es el único modo en que nos beneficiaremos todos. El cofundador de Facebook publicó una carta en la que explica por qué el código abierto es importante y hace referencia a Linux.

De acuerdo con Zuckerberg, el código abierto es necesario para un futuro positivo de la inteligencia artificial. El jefe de Meta indica que la IA tiene un potencial único para aumentar la productividad, creatividad y calidad de vida de las personas. De igual modo, puede ser un catalizador para la investigación científica y el crecimiento económico.

Zucks tira un gancho a OpenAI, Google y otras empresas que desarrollan modelos de código cerrado. "Muchas organizaciones no quieren depender de modelos que no pueden ejecutar ni controlar por sí mismas. Tampoco quieren quedar atrapados en una única nube que tenga derechos exclusivos sobre un modelo."

A diferencia de GPT-4o, Llama 3.1 405B no es pieza clave en el modelo de negocio de Meta. Mark Zuckerberg añade que hacer su IA de código abierto no socava los ingresos, sostenibilidad o la capacidad de invertir en investigación. El directivo señala que esta es la razón por la que las empresas critican los modelos open source, sin embargo, la IA de código abierto será la mejor opción en un futuro.

Meta considera que el lanzamiento de Llama 3.1 405B será un punto de inflexión en la industria. La compañía está enfocándose en construir un ecosistema más amplio para que más desarrolladores y empresas utilicen sus modelos de IA. Los usuarios pueden probar gratis el nuevo modelo a través de meta.ai en la web.

Fuentes:

https://hipertextual.com/2024/07/meta-llama-3-1-405b-codigo-abierto-open-ai-gpt-4o

https://www.elotrolado.net/noticias/tecnologia/meta-modelo-llama-codigo-abierto