Los AMD Ryzen con 3D V-Cache destacan como los más rápidos en IA gracias a RAG, superando incluso a modelos más recientes, demostrando su ventaja en rendimiento en tareas de inteligencia artificial.

El primer procesador Ryzen con tecnología 3D V-Cache fue lanzado en abril de 2022 y a pesar de que era un Ryzen 5000 que llegaba 2 años tarde y competía contra los Ryzen 7000 más potentes, acabó ganando. Al menos eso es lo que ocurrió en videojuegos, pues este Ryzen 7 5800X3D demostró la teoría de AMD de que añadir más caché L3 podía mejorar notablemente el rendimiento en ciertas aplicaciones. Desde entonces, los Ryzen X3D han sido la principal elección de los gamers por su gran rendimiento en videojuegos, pero no se limitan a esto, pues la tecnología 3D V-Cache se puede aprovechar en otras aplicaciones profesionales y hasta en IA, LLM y RAG.

Desde que AMD tiene Ryzen X3D, Intel se ha visto inmersa en un gran problema, pues no puede superar a su rival a la hora de ofrecer rendimiento en videojuegos y como imaginarás, ha provocado una caída de sus ventas. De hecho, AMD es, sin lugar a dudas, la más popular ahora y desde hace unos años, pues con los Ryzen 7 7800X3D que estaban a un nivel superior en todos los juegos de aquel entonces y los Ryzen 7 9800X3D y 9850X3D más recientes son incluso mejores.

Los AMD Ryzen X3D no solo son mejores en gaming, también son más rápidos en IA en tareas como RAG donde casi duplican en rendimiento a las CPU sin X3D

Podríamos pensar que todos los que compran Ryzen X3D es porque van a jugar a videojuegos y aunque en la mayoría de casos es para poder aprovecharlos en gaming, también son útiles en otras tareas. Esto es lo que han demostrado en Gigglehd, pues el caché apilado de estos procesadores proporciona una memoria muy rápida que está cerca de los núcleos y en tareas donde necesitamos acceder a muchos datos repetidamente, son excelentes. Si te preguntas si hay una aplicación ideal para esto, la respuesta sería la IA o al menos ciertas cargas de trabajo como RAG.

RAG son las siglas de "Retrieval-Augmented Generation" que funciona de forma de que cuando una persona hace una pregunta a un modelo de IA basado en LLM, este necesita hacer una búsqueda en una base de datos externa y generar una respuesta en base a lo que ha encontrado relevante. Aquí estamos hablando de que necesita encontrar muchos datos en el menor tiempo posible y precisamente ese extra de caché es el que consigue acelerar el proceso considerablemente. Sabida la teoría, falta ir a la práctica y en x3d-rag-benchmark con un Batch Search de 100K (QPS), el 9800X3D consigue 64.253 resultados por segundo, el 9850X3D logra 66.399 resultados por segundo y el 9950X3D, 61.364 resultados por segundo.

En comparación, el Ryzen 7 9700X se conforma con 35.285 resultados, así que es un 85% más lento. El Ryzen 9 9950X no mejora mucho más al llegar a 39.690 resultados. Aquí Intel vemos que rinde muy bien, pues el Core Ultra 7 270K Plus llega a 48.801 y el Core Ultra 9 285K a 52.296 resultados. Aunque no llegan al nivel de los X3D, Intel tiene ventaja al usar P-Cores y E-Cores con gran IPC.

En algunas pruebas quedan por detrás e Intel saca ventaja en TTFT, aunque ahí hay cuello de botella y depende de la GPU

Si pasamos a la prueba con Batch Search 200K, aquí vemos que los Ryzen X3D continúan liderando aunque en menor proporción, siendo así un 64% más rápidos, pero el Ryzen 9 9950X3D sorprendentemente pierde contra un Core Ultra 9 285K que es un 7% más rápido. En el caso opuesto, en Index Build 100K tenemos a los procesadores X3D consiguiendo peores resultados en cuanto a vectores por segundo situándose en torno a los 3 vec/s comparado a 5 vec/s de 9950X y 6 vec/s del 9700X.

En Throughput de requests/segundo volvemos a ver a los Ryzen X3D ganar, aunque en este caso se limita a los 9800X3D y 9850X3D que logran 18,7 y 19,1, respectivamente. Esto supone más del doble que el Core Ultra 7 270K Plus con 7,9 request/segundo y un salto considerable sobre el Ryzen 9 9950X y sus 12,8 requests por segundo. En TTFT los resultados son mucho más similares y se habla de un cuello de botella de CPU y acceso a los datos, pues ahí la GPU domina e Intel logra resultados ligeramente mejores.