La NVIDIA Tesla P40, que en su día fue una potencia en el ámbito de las GPU de servidor, está diseñada principalmente para tareas de aprendizaje profundo e inteligencia artificial. Equipada con 24 GB de VRAM GDDR5, esta GPU es una opción interesante para quienes deseen ejecutar modelos de generación local de texto, como los basados en arquitecturas GPT (Generative Pre-trained Transformer). Este artículo explora la viabilidad, las posibles ventajas y el proceso de instalación de la Tesla P40 en un ordenador de consumo.

 ¿Por qué alguien haría esto?

Coste, coste y curiosidad. P40s usados en eBay se venden  alrededor de 400$ (antes por 170$). Son lentas en el cálculo frente a las tarjetas gráficas modernas RTX 30, 40 pero 24GB VRAM es difícil de ignorar y con un coste mucho menor. Una RTX 4090 de 24 GB usada en eBay podía costar entre 1.500 y 2.000 dólares, ahora unos 600$

Entendiendo la NVIDIA Tesla P40

Antes de sumergirnos en la instalación y aplicación de la Tesla P40, vamos a entender sus especificaciones y capacidades:

• - Arquitectura de la GPU: Basada en la arquitectura Pascal
• - Memoria: 24 GB de VRAM GDDR5 es una de sus características más destacadas, ya que permite gestionar grandes conjuntos de datos y redes neuronales complejas sin el cuello de botella que suele provocar una memoria insuficiente en la GPU.
• - Rendimiento: Diseñado para la IA y la computación de alto rendimiento, ofrece un impulso significativo en tareas de inferencia, lo que resulta crítico para aplicaciones como la generación de texto en tiempo real. Cuando era nuevo...

El valor de 24 GB de VRAM para modelos de generación de texto

La principal ventaja de disponer de 24 GB de VRAM en la NVIDIA Tesla P40 para modelos de generación de texto reside en su capacidad para manejar cómodamente modelos de gran tamaño. Los modelos de generación de texto modernos, especialmente los de la serie GPT, son conocidos por su gran número de parámetros:

•     Modelos grandes: Modelos como GPT-3 o GPT-4 pueden tener miles de millones de parámetros, lo que requiere una cantidad considerable de memoria para cargarlos y ejecutarlos con eficacia.
•     Procesamiento por lotes: Más VRAM permite tamaños de lote más grandes durante el entrenamiento o la inferencia, lo que puede acelerar significativamente el proceso.

¿Se puede instalar una Tesla P40 en un ordenador personal?

Aunque la Tesla P40 se utiliza normalmente en centros de datos y entornos de servidor, es técnicamente posible instalarla en un ordenador de sobremesa de nivel de consumidor, siempre que se cumplan varias condiciones:

    Requisitos de alimentación: La Tesla P40 consume hasta 250 vatios, por lo que se necesita una fuente de alimentación (PSU) robusta, preferiblemente con una capacidad de al menos 750-1000 vatios y los conectores adecuados. Requiere un conector especial que utiliza dos cables de alimentación PCI juntos para suministrar los 250 vatios. Adaptador CPU 8 (Pin) Macho a Dual PCIe 8 Pin Hembra ($6.98)

Sistema de refrigeración: Las GPU de servidor como la P40 no vienen con sistemas de refrigeración activos. Por lo tanto, tendrás que garantizar una refrigeración adecuada en tu sistema. Y aquí viene lo complicado. Las pocas soluciones que encontré no eran adecuadas para mí. Tengo algunos viejos equipos de refrigeración por agua por si todo lo demás falla, pero quería ver si podía encontrar una solución basada en ventiladores. Primero diseñé una cubierta que aceptaba un ventilador de alta presión estática de 120 mm. Le hice unos agujeros que coincidían con los tornillos PCI de la caja que estaba usando e hice que su anchura coincidiera con la sección PCI de la caja para que encajara a presión y luego quedara sujeto por los tres tornillos PCI. El ventilador, un NZXT RF-AP120-FP que encontré en una pila de hardware antiguo, puede ofrecer 2.000 RPM, 73,11 CFM y 2,93 mm/H2O 

Espacio físico: Asegúrate de que la caja de tu ordenador puede alojar la tarjeta, que es físicamente más grande y está diseñada para bastidores de servidores. Yo utilicé un ordenador antiguo que había construido hace unos años.

Conclusión

Aunque poco convencional, la integración de una Tesla P40 en un ordenador de consumo para tareas de generación de texto local ofrece importantes ventajas, principalmente debido a su gran capacidad de VRAM. Esta configuración resulta especialmente ventajosa para quienes deseen experimentar con la IA sin el coste de las GPU de gama alta.

Sin embargo, los usuarios potenciales deben tener en cuenta los retos logísticos y técnicos, como garantizar una fuente de alimentación, refrigeración y alojamiento físico adecuados. Si se tienen en cuenta estos factores, la Tesla P40 puede mejorar la capacidad de un sistema de consumo para realizar tareas de IA de alto nivel tradicionalmente reservadas a hardware más especializado. Además, el hardware de consumo puede no tener el mismo nivel de fiabilidad y soporte que el hardware de servidor y el hardware de consumo puede no estar optimizado para cargas de trabajo de IA, lo que podría provocar problemas de rendimiento.

La verdadera pregunta es: ¿funciona bien? Aún es pronto para saberlo. Tengo una configuración similar que utiliza una RTX 3060 de 12 GB y la velocidad de procesamiento es bastante comparable, según las pocas pruebas que he realizado. Sin embargo, puede cargar modelos mucho más grandes y es más barata.

En general, se trata de una prueba para ver si podría hacer esto para otros componentes de servidor más caros en el futuro. En este momento, la respuesta a esa pregunta es SÍ. 

3x Nvidia Tesla P40 24GB 

Fuentes:
https://dshills.medium.com/integrating-nvidia-tesla-p40-into-a-consumer-level-computer-for-local-text-generation-18ae021090ec