Tres modelos de IA generativa. Los tres basados en LLM. Los tres de empresas estadounidenses.  Dos de ellas con sede en San Francisco. Mientras que Google reside en Mountain View. Dos ellas surgidas en el plantel de OpenAI. Los tres modelos de IA tienen mucho en común, pero los análisis y benchmarks deberían decirnos cuál es mejor. 

Empecemos por OpenAI y GPT-4. En su página técnica, sus responsables comparan GPT-4 con GPT-3.5, presentes en ChatGPT. Al ser los primeros en llegar, han preferido no competir directamente con los demás. Pero eso no exime que en la mayoría de las métricas aportadas, aparecen, por ejemplo, PaLM, el modelo de IA de Google. O LLaMA, de Meta (antes Facebook). Por poner un ejemplo. En un examen de 14.000 problemas de múltiple respuesta sobre 57 temas diferentes, “en 24 de los 26 idiomas probados, GPT-4 supera a GPT-3.5 en inglés y a otros LLM como Chinchilla o PaLM”. 

Para demostrar la superioridad de Gemini Ultra, Google compara directamente su modelo de IA con GPT-4. Su principal contendiente. En las pruebas relacionadas con texto (general, razonamiento, matemáticas y código), siete de las pruebas son superadas por Gemini Ultra 1.0 con respecto a GPT-4. En el procesamiento de imagen, video y audio, todas las pruebas parecen favorecer a Google frente a OpenAI. Aquí se puede leer el documento técnico completo con todos los análisis y benchmarks realizados

 

Finalmente, Anthropic se une a la batalla con su propia tabla de resultados. Mientras que GPT-4 partía como la favorita en los análisis propios, y se veía superaba en casi todas las categorías de análisis por Geminis Ultra de Google, el tercer rival parece haber superado a sus competidores. Según los datos aportados por sus propias pruebas. La tabla de Anthropic incluye sus propios modelos de IA, es decir, las tres versiones de Claude 3. Así como GPT-4, GPT-3.5 (que es la que emplea la versión gratuita de ChatGPT y Microsoft CoPilot), Gemini 1.0 Ultra y Gemini 1.0 Pro. Estas dos últimas son las versiones más completas de Gemini de Google. 

Partiendo de los análisis realizados en los que aparecen los tres contendientes, ChatGPT, Claude y Gemini, en todas las pruebas sale ganador Claude 3 Opus. Es decir, la versión más potente de este modelo de IA. Por su parte, Gemini 1.0 Ultra no sale del todo bien parado. Si bien superaría a sus rivales de menor tamaño, Claude 3 Sonnet y Haiku. Pero está por ver cuál sería el resultado de haber incluido en las pruebas a Gemini 1.5 Pro. GPT-4 de OpenAI quedaría en tercera posición en la mayoría de pruebas, salvo excepciones. Supera a Gemini en las pruebas de múltiple respuesta y en conocimiento común. 

Como dije al principio de este artículo, la respuesta final la tendrán los usuarios de estos modelos de IA. Ellos sabrán decir qué IA es la mejor y cuál ofrece mejores resultados. Por otro lado, estaremos atentos a las futuras pruebas y análisis por parte de OpenAI y Google. Es inevitable que incluyan a Claude 3 en sus resultados para comparar sus versiones mejoradas de GPT o ChatGPT y Gemini. 

Fuentes:

https://hipertextual.com/2024/03/chatgpt-claude-gemini