Los discos duros seguirán siendo la solución de almacenamiento más rentable para los centros de datos en los próximos años, pero para hacerlos más adecuados para los centros de datos de IA, Seagate está desarrollando discos duros que utilizan una interfaz PCIe común y el protocolo NVMe 2.0. En la GTC, Seagate mostró un sistema de prueba de concepto con discos duros NVMe, unidades SSD NVMe, la DPU BlueField 3 de Nvidia y el software AIStore para mostrar cómo NVMe transforma los discos duros para las cargas de trabajo de IA. Seagate se adelanta a sus rivales, que también están trabajando en discos duros NVMe.

 Nuevo protocolo, nuevo rendimiento

Las unidades de disco duro han utilizado tradicionalmente interfaces especializadas, como SCSI, Parallel ATA, Serial ATA (SATA) y SATA, que están bien pero están alcanzando sus límites para los entornos de datos modernos de alto rendimiento, concretamente en IA y centros de datos a gran escala. Tanto SATA como SAS se basan en protocolos serializados desarrollados en los años 80 que llevan capas de protocolo heredadas no adecuadas para el procesamiento moderno de datos a alta velocidad. Además, las configuraciones SAS y SATA requieren adaptadores de bus de host y capas de controlador adicionales, lo que añade complejidad, posibles puntos de fallo y latencia. Como resultado, estas arquitecturas no son adecuadas para las cargas de trabajo de IA, que requieren un acceso de alto rendimiento y baja latencia a conjuntos de datos masivos.

En comparación con SAS/SATA, NVMe emparejado con PCIe ofrece un ancho de banda significativamente mayor, menor latencia y mejor escalabilidad. A diferencia de SAS/SATA, que se limitan a velocidades de 6-12 Gbps y dependen de capas complejas como HBA y expansores, NVMe funciona sobre una interfaz PCIe estándar del sector, admite velocidades de hasta 128 GB/s (un disco duro no va a necesitar más de 1 TB/s durante bastante tiempo, pero a nivel de sistema, cuanto más ancho de banda, mejor) y reduce enormemente la complejidad del sistema, además de simplificar la escalabilidad. NVMe también permite el acceso directo de la GPU al almacenamiento (GPUDirect) a través de las DPU sin pasar por las CPU (lo que reduce los cuellos de botella de la CPU), y admite colas de 64K con 64K comandos por cola, lo que mejora enormemente el procesamiento paralelo, que es importante para los sistemas de IA.

Sistema de prueba de concepto

Para validar esta arquitectura, Seagate construyó un sistema de prueba de concepto que integra ocho unidades de disco duro NVMe, cuatro unidades SSD NVMe para almacenamiento en caché, una DPU Nvidia Bluefield 3 y el software AIStore, todo ello ejecutado en una carcasa de matriz híbrida NVMe de Seagate. 

 La máquina de pruebas demostró que el acceso directo de la GPU al almacenamiento minimiza la latencia en los flujos de trabajo de IA. Además, la eliminación de la infraestructura SAS/SATA simplificó la arquitectura del sistema y aumentó la eficiencia del almacenamiento. El software AIStore optimiza dinámicamente el almacenamiento de datos en caché y por niveles, lo que mejora enormemente el rendimiento del entrenamiento de modelos de IA.

 Además, Seagate afirma que el sistema puede escalar hasta niveles de exabytes cuando se utiliza NVMe-over-Fabric (NVMe-oF). En concreto, la integración de NVMe-oF permite la expansión sin problemas de clústeres de almacenamiento de IA de varios bastidores, lo cual es crucial para escalar de forma eficiente (y quizás más importante, sin problemas) a través de grandes centros de datos.

La prueba confirmó que los discos duros NVMe podían soportar entornos de IA de alto rendimiento sin necesidad de soluciones de almacenamiento totalmente basadas en flash, reduciendo los costes y manteniendo el rendimiento. 

Los sistemas de IA están impulsando un crecimiento exponencial de las necesidades de almacenamiento de datos, y las arquitecturas existentes se enfrentan a importantes limitaciones. Las unidades SSD ofrecen un rendimiento de alta velocidad, pero son económicamente insostenibles para el almacenamiento a largo plazo a esta escala. Los discos duros SAS y SATA son asequibles, pero introducen complejidad y latencia debido a la dependencia de adaptadores de bus de host (HBA), silicio propietario y sistemas controladores no optimizados para los requisitos de alto rendimiento y baja latencia de la IA. Las opciones de almacenamiento en la nube complican aún más la infraestructura con altos costes de transferencia de datos WAN, tiempos de recuperación impredecibles y picos de latencia, que dificultan la eficiencia del procesamiento de la IA. Estas limitaciones dan lugar a arquitecturas complejas, costosas e ineficientes, que ralentizan la adopción y el rendimiento de la IA.
Necesidades futuras de almacenamiento de IA

En la actualidad, las empresas gestionan conjuntos de datos de petabytes a exabytes para el entrenamiento y la inferencia de modelos de IA. En el futuro, sus necesidades aumentarán, y aquí es donde brillará la solución de Seagate para llevar la conectividad NVMe a los discos duros y crear una plataforma de almacenamiento de centro de datos unificada y eficiente. 

Desde el punto de vista de la complejidad de los discos duros, añadir NVMe a los discos duros no es tan caro, ya que los discos duros conservan los conectores físicos SAS/SATA y su factor de forma tradicional de 3,5 pulgadas. Lo único que cambia es la incorporación de la compatibilidad con el protocolo NVMe y una interfaz PCIe a la controladora (que probablemente cueste unos céntimos), así como el desarrollo de firmware compatible con las funciones y capacidades de NVMe, como GPUDirect. Teniendo en cuenta que la transición a la conectividad NVMe/PCIe elimina los HBA y la complejidad, las pequeñas subidas de precio de los discos duros apenas serán percibidas por el sector.

Sin embargo, a medida que los discos duros ganan capacidad, su rendimiento de IOPS por TB disminuye, y esto puede afectar al rendimiento cuando se trabaja en clústeres de IA en el futuro (o requerirá más flash para mitigarlo). En este sentido, es posible que en el futuro los discos duros de doble actuador, como el Mach.2 de Seagate, sean preferibles para los clústeres de IA. Por supuesto, estos discos son más caros que los discos duros normales de un solo actuador, pero cada uno de ellos sigue costando menos que dos discos duros de un solo actuador, por lo que no supondrán ningún trastorno significativo.

¿Cuándo estarán disponibles?

Una de las cosas que un ávido lector se preguntaría tras conocer las ventajas de NVMe para los discos duros es cuándo saldrán al mercado. Por desgracia, es difícil saberlo. Las grandes empresas prefieren tener un suministro de doble fuente para productos como los discos duros, razón por la cual se desarrollaron las unidades de disco duro NVMe como parte del proyecto OCP. Sin embargo, aunque Seagate ya tiene discos duros NVMe, sus rivales todavía tienen que presentar sus dispositivos. Cuando eso ocurra, y todos los fabricantes de discos duros puedan producir este tipo de productos en volumen, los proveedores de servicios en la nube que se dirigen a empresas y cargas de trabajo de IA empezarán a adoptar este tipo de productos.

Fuentes:

https://www.tomshardware.com/pc-components/hdds/gpu-meets-pcie-based-hard-drives-seagate-and-nvidia-demo-nvme-hdds