• La energía de las dos centrales se utilizaría solo para la implementación de modelos de IA en las aplicaciones, según el director de ingeniería de IA generativa de Meta, Sergey Edunov, y el entrenamiento consume más. 

El director de ingeniería de IA generativa de Meta, Sergey Edunov, ha afirmado en una mesa redonda que la creciente demanda que se prevé para 2024 de aplicaciones de IA supondría el mismo gasto que dos plantas de energía nuclear. Según detalló, se trataba de una estimación aproximada realizada con matemáticas básicas de lo que denomina 'inferencia'.

El proceso de inferencia de IA es aquel en el que se implementa la IA en una app para responder a una pregunta o hacer una recomendación. Es decir, la energía que se usaría en dos centrales no serviría para lo que se conoce como el 'entrenamiento' de un modelo de IA, que es cuando se utilizan cantidades masivas de datos para que esté listo y se puedan realizar las inferencias.

Según un estudio de la Universidad Cornell (Ithaca, Nueva York), el entrenamiento de ChatGPT-3, la generación anterior a ChatGPT-4, supuso un consumo de 700.000 litros. Para que nos hagamos una idea, esa misma cantidad de agua es la que usan todos los centros de datos de Microsoft en Estados Unidos. Además, por cada conversación, el modelo de lenguaje grande (LLM) se 'bebe' medio litro de agua de media.

La creación de apps con IA no es un problema

A pesar del conflicto que puede generar la idea de que la IA consume demasiado, lo cierto es que Edunov se muestra positivo y asegura que se puede resolver el problema de la creciente demanda de aplicaciones. Según cuenta, las necesidades energéticas para la inferencia están bajo control.

Sobre la inferencia, señaló que Nvidia, que es el máximo proveedor de procesadores para IA, está listo para lanzar entre uno y dos millones de sus GPU H100 para 2024. Edunov calcula que, si todos estos chips se usasen para generar tokens para LLM de tamaño razonable, se llegaría a los 100.000 tokens por persona en el planeta al día.

Los tokens son las unidades básicas de texto que utilizan para procesar y generar el lenguaje. Según cómo se diseñe el LLM, pueden ir desde palabras, a partes de palabras o caracteres de palabras. Es decir, un token puede ser 'hola' o dividirse en 'ho' y 'la'.

No hay suficientes datos para el entrenamiento de IA

El desafío de la IA, según Edunov, se encuentra en la limitación a la hora de obtener los suficientes datos para su entrenamiento. Para ello, pone el ejemplo de ChatGPT-4, que se especula que fue entrenado con todos los datos de Internet que están disponible públicamente.

El experto de Meta cuenta que, si descargas todo el Internet disponible públicamente, equivaldría a unos 100 billones de tokens, que, si los limpias y eliminas datos duplicados, podría reducirse a una cifra de entre 10 y 20 billones de tokens.

En el caso de que busques contenido de calidad, el número de tokens se reduce considerablemente. Edunov asegura que "la cantidad de conocimiento destilado que la humanidad ha creado a lo largo de los siglos no es tan grande" como podríamos imaginar.

En la mesa redonda, el profesional de la empresa de Mark Zuckerberg explicó que, si suponemos que ChatGPT-4 se entrenó con los datos públicos de Internet, ha llegado a los 20 billones de tokens. Edunov estima que los modelos de próxima generación dispondrán de 10 veces más datos, por lo que tendría que alcanzar los 200 billones de tokens, siendo insuficientes los datos públicos.

Como alternativa, Edunov dice que los investigadores están trabajando en técnicas de eficiencia para hacer que los modelos sean más eficientes e inteligentes con cantidades de datos más pequeñas. También planteó la idea de aprovechar otras fuentes de datos, como los vídeos.

Fuentes:

https://www.20minutos.es/tecnologia/inteligencia-artificial/despilfarro-ia-necesitan-dos-centrales-nucleares-alimentarla-2024-5193960/