La memoria se ha convertido en uno de los grandes cuellos de botella de la IA, sobre todo ahora que los modelos trabajan con ventanas de contexto cada vez mayores, miles de agentes al mismo tiempo y cantidades de datos que ya no caben en la HBM de las GPU. Por eso NVIDIA quiere cambiar la forma en la que estos aceleradores se relacionan con el almacenamiento, permitiendo que sean las propias GPU las que inicien operaciones de lectura y escritura sobre los SSD sin obligar a que cada movimiento pase por la CPU y por varias copias intermedias.

El objetivo es paliar la escasez de DRAM aprovechando la NAND Flash que normalmente está en los centros de datos, mientras la tormenta pasa. El cómo lo van a hacer es lo realmente interesante, porque despliegan dos herramientas que en cierta manera ya existían, aunque no para este fin.

NVIDIA quiere que las GPU puedan acceder a los SSD para ampliar la memoria de cada servidor sin tener que recurrir a más RAM

La pieza central de este movimiento es cuFile, la interfaz utilizada por GPUDirect Storage, cuyas API y pila vertical de software pasarán a estar disponibles como código abierto para que puedan adaptarse a diferentes plataformas de hardware y software.

NVIDIA no está haciendo esto sola, ya que Google, Intel y Meta aparecen como mantenedores iniciales de XIO-SIG, el grupo encargado de desarrollar esta capa abierta e interoperable con la que una GPU podrá lanzar miles de peticiones simultáneas al almacenamiento y recibir los datos directamente en su memoria de alta velocidad.

Esto no significa que un SSD vaya a convertirse mágicamente en HBM, porque las diferencias de ancho de banda y latencia siguen siendo enormes, pero sí permite utilizar el almacenamiento como una capa de memoria mucho más amplia para guardar contextos, bases de datos, memoria persistente de agentes o cachés KV que no necesitan permanecer constantemente dentro de la GPU. NVIDIA habla de accesos en la escala de los microsegundos, aprovechando cientos de miles de hilos para solicitar únicamente la información necesaria en cada momento.

Separación por software del hardware para poder darle sentido a la implementación

Ahí entra SCADA, es decir, Scaled, Accelerated Data Access, un framework con el que las GPU pueden extraer partes concretas en lugar de mover archivos o conjuntos de datos completos, aunque permitir que una aplicación escriba directamente sobre una unidad también abre un problema de seguridad bastante serio si no se controla correctamente.

Para evitarlo, porque NVIDIA si algo tiene es que no es tonta, hace que SCADA separe la parte rápida de la aplicación de un componente privilegiado que configura previamente qué zonas del almacenamiento puede utilizar cada carga, manteniendo los permisos y mecanismos de protección habituales de Linux.

Todo esto se engloba dentro de Storage-Next, una iniciativa con más de 40 empresas, entre ellas DDN, Kioxia y Micron, que pretende definir cómo deberían funcionar estos sistemas de almacenamiento dirigidos por GPU y convertir sus avances en estándares abiertos.

NVIDIA también coloca en el centro, como no podía ser de otra forma, a Vera BlueField-4 STX, cuyo procesador Vera integra 88 núcleos Olympus Armv9.2, 176 hilos, 164 MB de caché L3 y hasta 1,2 TB/s de ancho de banda de memoria, alcanzando hasta 3,21 veces más rendimiento que una CPU x86 en una prueba combinada de compresión y cifrado, aunque la propia compañía reconoce que son microbenchmarks con los datos ya cargados en memoria y que todavía falta medir el rendimiento completo de un sistema real.

Quizás esto termine llegando a PC de alguna manera más liviana, y sería de agradecer en un momento donde hemos retrocedido un poco por los mismos motivos que NVIDIA alude en la IA: el precio y la escasez de RAM.