El anuncio llega justo después de que Google Cloud anunciara la disponibilidad general de Vera Rubin la semana pasada, sumando dos importantes logros para Nvidia en el sector de los hiperescaladores. Sin embargo, el anuncio de Oracle es interesante, ya que destaca específicamente las instancias independientes de Vera en los Superclusters de OCI. Hemos incluido algunos análisis de rendimiento que hemos realizado en un servidor Vera para una próxima reseña para resaltar algunas de las características de rendimiento del chip, pero cabe señalar que estas pruebas no se llevaron a cabo en la infraestructura de OCI.

Las "neoclouds" han estado insistiendo en Vera durante las últimas semanas, con instancias en camino en Nscale, CoreWeave y Nebius, entre otras, por lo que tiene sentido ver a Vera en las neoclouds centradas en la IA y dominadas por GPU. Sin embargo, un despliegue independiente en un hiperescalador como Oracle envía una señal diferente.

Aunque los hiperescaladores mantienen grandes flotas de hardware, a veces alquilando incluso a las neoclouds, el enfoque de la CPU es principalmente x86, mientras que los Superclusters de OCI ofrecen además el Ampere Altra para instancias basadas en Arm. Es la primera incursión de Nvidia con una CPU independiente en el centro de datos a hiperescala, situando a Vera junto a la competencia x86 independientemente del cómputo de la GPU.

Vera no pretende derrocar a la guardia x86, al menos de forma aislada. Ian Buck, la mente de Nvidia detrás de CUDA y el rostro de la expansión de la infraestructura de IA de Nvidia, dijo en marzo —cuando se reveló el chip— que el mundo no podía ser atendido por un único SKU de 88 núcleos. No obstante, Vera está abriendo la puerta en hiperescaladores como Oracle para expandirse en futuras generaciones de CPU.

AMD e Intel mantienen la ventaja en cuanto a la densidad de un solo socket, que solo tenderá a aumentar en la próxima generación, ya que las próximas CPU EPYC Venice de AMD pueden albergar hasta 512 hilos en un solo socket. Sin embargo, Vera ofrece algunas ventajas distintivas debido a su topología dependiendo de la carga de trabajo, muchas de las cuales son cada vez más relevantes en la era de la IA agentica.


El ancho de banda de la memoria, por ejemplo, es uno de los puntos fuertes de Vera, y no es solo una afirmación de marketing. Nvidia ha afirmado que el sistema de memoria es capaz de un ancho de banda de 1.2 TB/s, pero podemos ver la ventaja de Nvidia más allá de los números teóricos en nuestras pruebas a continuación.


Tomemos como ejemplo el benchmark Stream, estándar de la industria. El uso de LPDDR5X-9600 por parte de Nvidia, junto con un troquel monolítico y una malla distribuida para la caché, le permite duplicar con creces el ancho de banda disponible en un sistema dual Intel Xeon 6980P, incluso cuando este último está emparejado con MRDIMMs con velocidades de 8,800 MT/s. Aquí mostramos "triad", ya que es la operación más "exigente" de Stream, pero las ventajas de Vera son similares también en add, copy y scale.

Este ancho de banda es crítico para algunos tipos de bucles agenticos, particularmente aquellos que manejan consultas a bases de datos grandes o documentación extensa. También se puede observar que la política de "dispersión" de OpenMP ofrece un impulso masivo al ancho de banda de memoria de Vera. Tanto AMD como Intel mantienen un control de memoria centralizado y una caché a nivel de sistema, mientras que Vera la distribuye en una malla a través del troquel. El resultado, al menos con OpenMP configurado correctamente, es un ancho de banda de memoria mucho mayor al vincular los procesos lo más alejados posible entre sí.

Otro vector de rendimiento crítico para la IA agentica es Python. El mundo agentico se está expandiendo, pero gran parte de la base del ecosistema de software de IA está construida sobre Python. Marcos agenticos comunes como CrewAI y LangGraph están escritos en Python, y aunque estamos viendo más marcos construidos en lenguajes como Rust y TypeScript, el rendimiento de Python sigue siendo fundamental para los bucles agenticos.


Y, como era de esperar, es un área donde Vera también es fuerte, superando a CPU que son mucho más potentes sobre el papel. Los arneses agenticos populares se basan en Python, al igual que muchas de las aplicaciones que también se ejecutan en Python, incluidas las librerías fundamentales de IA como PyTorch y TensorFlow.

El enfoque de Nvidia en la IA agentica tiene sentido dados los tiempos en que vivimos, pero puede hacer que se pierda la visión general. El hecho de que Oracle ponga en marcha instancias independientes de Vera desplaza el enfoque hacia las implicaciones más amplias de la entrada de Vera en el centro de datos. Hay algunos aspectos del rendimiento que caracterizan las cargas de trabajo de IA agentica, pero muchas cargas de trabajo de agentes son, en primer lugar, cargas de trabajo regulares de centro de datos, solo que bajo una alta concurrencia.



Por ejemplo, el rendimiento de SQLite es importante para cualquier servidor que consulte una base de datos grande, independientemente de si está escrito por lógica, por una persona o por un agente de IA. El Scalable Coherency Fabric (SCF) de segunda generación de Nvidia, que vimos en Stream, aparece aquí en una carga de trabajo real, con estas consultas de base de datos limitadas en gran medida por el movimiento de datos a través del sistema.

Y eso es lo que hace que Vera sea tan interesante en el contexto del anuncio de Oracle. Es una CPU construida para la IA agentica, dice Nvidia, pero la interconexión con las cargas de trabajo generales del centro de datos es fuerte. No es solo una CPU para usar porque necesites acceso a los aceleradores de Nvidia. Dependiendo de la carga de trabajo, puede incluso ser una mejor opción que la guardia x86.

En última instancia, tenemos que ver cómo los clientes de estos hiperescaladores utilizan (o no utilizan) Vera en producción. Ha demostrado su utilidad en los bucles de IA agentica, pero también está mostrando una promesa temprana en ciertas cargas de trabajo de propósito general. El despliegue independiente de Oracle es una señal de que existe cierta demanda de Vera que no está exclusivamente ligada a una GPU Rubin.

Oracle está procediendo con cautela, sin embargo, como debería hacerlo cualquier hiperescalador al poner en marcha un despliegue de multi-gigavatios. La empresa dijo que también ofrecerá el HGX NVL8 de Nvidia, reuniendo ocho GPU Rubin en un clúster, conectadas a un host Intel Xeon 6 dual de 64 núcleos con 4 TB de memoria DDR5.

Nuestras pruebas de Vera compartidas en este artículo son parte de una sesión de benchmarking más amplia que tuvimos con el chip, y compartiremos los detalles técnicos de la configuración de la prueba en nuestra próxima reseña. Publicaremos nuestros resultados completos próximamente en Tom’s Hardware.

Fuente:
TomsHardware