Estamos en una época donde la IA se considera que puede alcanzar el pináculo de la tecnología y para muchas empresas está por encima de todo, por lo que invierten una mayor cantidad de recursos en esta. Aquí tenemos compañías de todo tipo, pues están las que se encargan de desarrollar modelos de IA, otras que desarrollan el hardware que se usará en tareas de inteligencia artificial y otras que simplemente invierten para usar estas herramientas. Samsung se situaría más respecto al hardware, pues aprovechando su liderazgo en el mundo de la memoria, ahora ha anunciado una tecnología KV Cache Offloading para SSD para mejorar el rendimiento y eficiencia en inferencia de IA.

Samsung es conocida por ser una empresa de Corea del Sur que se dedica a crear todo tipo de dispositivos y en cierta parte nos recuerda a Apple por el hecho de que suele triunfar y quedar entre las primeras en ventas. Así pues, es la marca más vendida de móviles Android, está la primera en términos de cuota de mercado en TV y sus electrodomésticos inteligentes también son populares. No solo eso, sino que Samsung es también la líder en el sector de la memoria y esto incluye tanto DRAM para memoria RAM como NAND Flash para SSD, USB o tarjetas microSD.

Samsung anuncia su tecnología para SSD KV Cache Offloading que permite reutilizar los datos y evitar volver a calcularlos para acelerar los procesos de inferencia IA

Ya vimos hace unos meses la gran subida de precio de la memoria RAM, donde todos y cada uno de los fabricantes anunciaron que era inevitable el incremento de los precios ante una alta demanda y posibilidad de escasez. Samsung fue una de estas y anunció que aumentaría el precio en más de un 100% en Q1 2026, pues aún queda mucho hasta que todo se normalice. Mientras tanto, nos toca dejar de lado la DRAM y centrarnos en la NAND Flash y los SSD, pues lo último de Samsung es la tecnología KV Cache Offloading que mejorará el rendimiento de la inferencia de IA.

Si no conoces la inferencia, esta es fundamental, pues esta llega tras el entrenamiento previo del modelo de IA y pasa así a una etapa donde toma decisiones en tiempo real y demuestra su capacidad en pruebas reales. Esto nos deja con el concepto del KV Cache, el cual es usado por los LLM para acelerar los procesos de inferencia y este cache funciona almacenando los tensor key y value para reutilizarlos y no volver a recalcularlos en cada nuevo token. Ahora entra el concepto del KV Cache Offloading de Samsung, el cual permite "descargar y reutilizar" ese caché KV haciendo que sea más eficiente y rápido el proceso, sobre todo en tareas con IA agencial.

Esta tecnología se puede usar en SSD como el Samsung PM1753 con hasta 14,5 GB/s y 3.3 millones de IOPS en lectura aleatoria. Samsung ha utilizado estos SSD en varias pruebas y empezando con la primera, se ha analizado como afecta el I/O o entradas/salidas de información con LMCache (KV Cache Open Source). Tenemos así el uso en el sistema donde dominado mayoritariamente por la lectura aleatoria con un 58% y la lectura secuencial con un 34%. Si pasamos a procesos, vemos que el 78% corresponde a la lectura secuencial y el 96% de los bloques son grandes, de más de 1 MB.

El KV Caché es hasta un 95% más rápido, permite un 70% más usuarios y reduce el consumo de energía a la mitad

Tras esto pasamos a las métricas de rendimiento que es lo que más nos interesa, pues aquí comparamos que cambia el utilizar esta tecnología de Samsung. Como podemos ver en el gráfico, estableciendo 1 segundo como el tiempo para generar el primer token, sin KV Cache Offloading tenemos a 140 usuarios y con este cache activado pasamos a 240 usuarios manteniendo ese segundo de tiempo, así que tiene un 70% más de capacidad. A su vez, podemos ver que con 240 usuarios es capaz de generar el primer token un 95% más rápido, pues sin el cache tarda 22 segundos. Si ahora pasamos a los tokens de salida, con la tecnología de Samsung podemos conseguir un 50% en los 240 usuarios y hay aún más diferencia a mayor número de estos.

En cuanto al consumo de energía, esta tecnología es muy eficaz para reducir el consumo de todo el sistema más que del propio SSD. Así es como vemos que el uso de la GPU pasa de un 77,2% a un 37,5%, los ventiladores bajan de 14.990 RPM a 8.764 RPM y el consumo total pasa de 6.400W a 3.400W, aproximadamente la mitad. Por último en cuanto a eficiencia relacionada con el coste, aquí tenemos una mejora de un 50% aproximadamente y si tenemos en cuenta que el SSD solo representa un 4% del valor total del sistema (casi todo se va en la GPU para IA), podemos concluir que es una tecnología fantástica para acelerar las tareas de inteligencia artificial.