La presión que la Inteligencia Artificial está ejerciendo sobre la memoria ya no se resuelve solo con más HBM alrededor del procesador de turno. En el IEDM 2025, Imec puso sobre la mesa una idea tan lógica como problemática: colocar la memoria HBM directamente encima de la GPU. El objetivo es claro, multiplicar el ancho de banda y la densidad de memoria, pero no estaba carente de problemas, a saber: el calor generado por el conjunto. Los datos que han presentado dejan poco margen a la interpretación y obligan a repensar cómo se diseñarán los aceleradores de los próximos años. Por ello, Imec, tras años de estudio, mostró el camino desde Europa: HBM-on-GPU.

Hasta ahora, la industria ha confiado en el empaquetado 2.5D y está migrando al 3D real poco a poco, pero no es suficiente. Como sabemos, actualmente la GPU se sitúa en el centro y las pilas HBM se colocan a los lados, todas conectadas mediante un interposer de silicio. Funciona, pero tiene límites físicos evidentes. Las distancias eléctricas crecen, el número de enlaces es finito y el escalado de ancho de banda empieza a chocar con el tamaño del paquete, de ahí la necesidad de esta nueva tecnología.

Imec mostró cómo superaremos los cuellos de botella actuales con HBM-on-GPU

La propuesta, denominada por Imec como HBM-on-GPU, elimina ese cuello de botella apilando la memoria justo encima del die lógico mediante microbumps, llevando la comunicación vertical a un nivel mucho más denso.

El estudio presentado por Imec no es un producto ni un anuncio comercial, es una simulación térmica completa con cargas de trabajo realistas de entrenamiento de IA. El escenario base es muy concreto: una GPU con 4 pilas HBM, cada una formada por 12 dies de DRAM híbrida, apiladas directamente sobre el die. Parece fácil, casi obvio, pero tiene una cantidad de problemas técnicos brutales.

La refrigeración se aplica únicamente desde la parte superior del paquete, como ocurre en muchos diseños actuales de centros de datos, pero el resultado sin ningún tipo de optimización es contundente. La temperatura pico de la GPU alcanza aproximadamente 141,7 grados, una cifra totalmente incompatible con cualquier operación segura y sostenida, y menos en servidores.

Este dato es clave porque desmonta cualquier idea simplista de que apilar memoria sobre lógica es solo una cuestión de interconexión y concepto. El calor generado por la GPU queda atrapado bajo las pilas de HBM, que además actúan como barrera térmica. La densidad de potencia se dispara y el calor no encuentra una vía de escape eficiente. En otras palabras, el principal freno del HBM on GPU no es eléctrico, es térmico.

Llega la "cooptimización", un término que, junto con "arquitectura programable especializada" cambiará tanto el sector profesional como el de los usuarios

Si bien esta misma semana hablábamos del Superordenador Tianqiong y su arquitectura programable especializada como algo disruptivo que seguramente todas las empresas punteras tendrán en algún momento, si no se puede considerar que las tengan visto lo que hacen Amazon o Google con sus TPU, la realidad es que en cuanto a memoria todo va hacia el concepto de Imec.

Aquí entra en juego la cooptimización, un concepto que une tecnología y sistema. No hay una solución mágica, sino un conjunto de medidas que, combinadas, cambian por completo el escenario. La primera es estructural: reorganizar y agrupar las pilas HBM para reducir regiones de baja conductividad térmica. La segunda pasa por introducir más materiales con alta conductividad alrededor de las pilas, creando caminos térmicos más eficientes.

La tercera es asumir un compromiso controlado en frecuencia de la GPU, reduciendo su reloj para rebajar la disipación local, algo asumible en cargas muy dependientes del ancho de banda de memoria. Y la cuarta es probablemente la más determinante: refrigeración por ambos lados del paquete, no solo desde arriba. Con todo lo descrito por Imec, HBM-on-GPU pasó de ser algo imposible de crear para la eficiencia y el alto rendimiento, a ser algo real y más cercano de lo que pensamos.

Las pruebas de rendimiento térmico muestran una mejora casi de ciencia ficción: de ser un problema a una solución al alcance de Intel, AMD y NVIDIA

Aplicando todas estas técnicas de forma conjunta, la temperatura pico de la GPU cae hasta unos 70,8 grados bajo las mismas cargas de IA. Es decir, se sitúa en un rango comparable al de una solución 2.5D convencional, pero con una densidad de memoria y un potencial de ancho de banda muy superiores. Este es el punto que convierte el trabajo de Imec en algo relevante para la industria y no en un simple ejercicio académico teórico, es una solución real que será aplicada por los gigantes estadounidenses.

Las implicaciones son claras a este respecto. El HBM-on-GPU podría desbloquear incrementos masivos de ancho de banda, fundamentales para modelos de IA cada vez más grandes y más hambrientos de datos. Pero también deja claro que el packaging del futuro no se podrá diseñar sin pensar en la refrigeración como un elemento central desde el primer momento, como está pasando ahora, donde primero se diseña el hardware y luego se intenta refrigerar con lo mejor que haya en el mercado.

Por ahora, hablamos de investigación avanzada, no de productos de consumo, ya que solo hay algunos prototipos internos en Imec con esta HBM-on-GPU. Todo apunta a que, si llega al mercado, será primero en aceleradores de centros de datos, donde la complejidad y el coste tienen sentido. La pregunta ya no es si el HBM-on-GPU es viable, sino cuántos fabricantes estarán dispuestos a asumir el reto térmico que implica, porque si son listos, y lo serán, esto lo vamos a ver en breve en las GPU de NVIDIA e Intel, los aceleradores de AMD, entre otros.