"Si caminas una hora, recorres una distancia; si caminas dos, doblas la distancia. Esa intuición sirvió en la sabana, pero fracasa frente a la IA”, afirma Mustafa Suleyman en un artículo para el MIT Technology Review. De esta forma tan directa deja bastante claro que, si hablamos de inteligencia artificial, no valen las reglas de la evolución. Esta avanza de forma exponencial.

Tal y como él mismo reconoce, desde que empezó a trabajar en IA en 2010, el cambio ha sido enorme. El cómputo usado en los modelos punteros ha crecido en torno a un trillón de veces. "De 10¹⁴ FLOPS en los primeros sistemas a más de 10²⁶ FLOPS en los modelos más grandes de hoy. Esto no es un crecimiento: es una explosión", comenta.

Para entender todo este boom, Suleyman compara el entrenamiento de IA con "una sala llena de gente haciendo cálculos con calculadoras". Hasta hace poco, añadir potencia de IA significaba solo meter más gente con calculadoras. Pero mucha de esa gente se quedaba esperando, con el tiempo muerto, mientras los datos llegaban tarde.

"Hoy la revolución no es solo tener calculadoras más rápidas. Es conseguir que todas esas calculadoras siempre estén trabajando, y que funcionen como una sola mente gigante", explica. Ese cambio se ha hecho realidad gracias a tres avances que convergen a la vez:

Primero, las propias 'calculadoras' son mucho más rápidas. Los chips de Nvidia han pasado de unos 312 teraflops en 2020 a 2.250 teraflops hoy, y el chip de Microsoft, el Maia 200, cuenta con un 30% más de rendimiento por cada euro que otros chips de la misma categoría.

Segundo, los datos llegan mucho más rápido gracias a la memoria HBM (High Bandwidth Memory), que apila chips como pequeños edificios. La versión más nueva, HBM3, triplica el ancho de banda de la anterior, manteniendo las GPU siempre alimentadas y sin tiempos muertos.

Tercero, la sala de calculadoras se ha vuelto casi como una ciudad. Tecnologías como NVLink e InfiniBand conectan cientos de miles de GPU en superordenadores del tamaño de naves industriales, que funcionan como una sola pieza de procesamiento.

Como resultado de todo, tenemos una auténtica bestia: lo que en 2020 llevaba 167 minutos en ocho GPU hoy se hace en menos de cuatro minutos con hardware actual, una mejora de 50 veces, muy por encima de las 5 veces que habría previsto solo la Ley de Moore.

Teniendo en cuenta este crecimiento exponencial, las previsiones son monstruosas. Afirma que los grandes laboratorios están creciendo su capacidad de cómputo a un ritmo de casi 4x anual. Entre 2020 y hoy, el cómputo ha aumentado 5x cada año. Y se espera que hacia 2027 el cómputo global de IA alcance el equivalente de 100 millones de chips H100, es decir, un salto de 10 veces en solo tres años.

Microsoft, Nvidia y la carrera de la superinteligencia artificial o ASI

En medio de toda esta locura casi inconcebible para la mayoría de mortales, nombres como Microsoft y Nvidia están en el centro de todo este boom.

Suleyman, que ahora está al frente de la división de IA en Microsoft, deja claro que ya no hablamos de prototipos, sino de infraestructuras reales gigantescas: clusters de 100.000 GPU, racks del tamaño de una nevera que consumen 120 kilovatios y centros de datos que se alimentan de energía equivalente a la del Reino Unido, Francia, Alemania e Italia juntas en su pico de consumo anual.

"Los 100.000 millones de dólares en clústeres de IA, los 10 gigavatios de consumo, los superordenadores de nave… ya no son ciencia ficción. Ya están en obras en EEUU y en el mundo", afirma. Y todo esto tiene un objetivo a un plazo todavía desconocido: la superinteligencia.

Después de la era de los chatbots, según Suleyman, viene la de los "agentes de IA casi humanos": sistemas semiautónomos que pueden escribir código durante días, llevar proyectos de semanas o meses, hacer llamadas, negociar contratos y gestionar logística.

Sin embargo, todo tiene una cara B y en este caso es precisamente la energía. Un solo rack de IA puede consumir 120 kilovatios, el equivalente a 100 casas.

Pero aquí entra en juego otro aspecto que también está creciendo de forma exponencial: la caída de precios de las energías renovables. "Los costes de la energía solar han caído casi 100 veces en 50 años; los de las baterías, un 97% en tres décadas", afirma Suleyman.

Con todo esto sobre la mesa y lo que aún está por llegar, el propio Suleyman afirma que "seguirán sorprendiéndose. El 'boom' de cómputo es la historia tecnológica de nuestro tiempo, y todavía está empezando".