Un abogado construyó un servidor de IA privado utilizando ocho GPUs Nvidia V100 usadas para procesar archivos legales sin conexión y garantizar la privacidad. El sistema ejecuta el modelo DeepSeek V4.1 Flash con un rendimiento sorprendente, alcanzando hasta 215 tokens por segundo en código y 118 en redacción legal. A pesar de algunos problemas técnicos y eléctricos, el proyecto permite automatizar gran parte de su flujo de trabajo evitando costos de API y riesgos de datos en la nube.

Homelab V100 del abogado, actualización: dos placas SXM2 NVLink de 4 tarjetas, cuatro interruptores PEX, SlimSAS por todas partes, un conector de alimentación quemado y un modelo de 250 GB ejecutándose enteramente en VRAM a más de 200 tok/s
de r/homelab r/homelab

Las ocho tarjetas Tesla V100-SXM2-32GB, cada una con 32 GB de HBM2 a 900 GB/s, se conectan a SXM2, el zócalo mezzanine de Nvidia para GPUs de centro de datos, en lugar de ranuras PCIe, y se dividen en dos placas base. Dentro de cada placa, las cuatro tarjetas están conectadas mediante NVLink —el enlace directo de GPU a GPU de Nvidia— para obtener 128 GB por placa, pero las dos placas solo se comunican a través de PCIe. Cada placa se conecta al host mediante dos tarjetas interruptoras PEX (PLX) a través de cables SlimSAS, cuatro interruptores en total, y cada interruptor gestiona dos GPUs a velocidades PCIe 3.0 x8 a través de su propio enlace ascendente x16.

Los precios indicados ya son cosa del pasado: las tarjetas V100 SXM2 32GB usadas se anuncian ahora en eBay por unos 900 dólares, más del doble de los aproximadamente 400 dólares por unidad de la publicación, y los anuncios sugieren que los precios siguen subiendo. El sistema también cuenta ya con otros componentes necesarios: una placa base Gigabyte Threadripper Pro con una CPU 3945WX de 12 núcleos a juego, 8x 32GB DDR4 RDIMM, un nodo NUMA y dos fuentes de alimentación, 2.800 W en total, en circuitos de oficina independientes. Este es un caso real de hardware de centro de datos usado como una ruta barata para conseguir mucha VRAM rápida en un solo lugar.

El servidor se utiliza actualmente a diario para el trabajo preliminar de los archivos de los casos: lee una carpeta de registros, extrae hechos, fechas y números, los resume y realiza un primer borrador de redacción rutinaria. “Nada sale por la puerta sin una revisión real”, que es una buena política de intervención humana en general. También ayuda a garantizar la privacidad en casos donde los archivos de los clientes no pueden enviarse a una nube o a un modelo frontera. Las bases de datos RAG y las llamadas a herramientas están integradas; el operador puede manejar el sistema a través de una interfaz estilo Discord mediante SSH, en este caso desde un PC con Windows. Por ahora, solo gestiona una solicitud a la vez.

DeepSeek V4.1 Flash está comprimido mayoritariamente a 2 bits aquí, y sus pesos siguen sumando 248,8 GB. Los “expertos” del modelo, las partes que hacen la mayor parte del trabajo para cada palabra, residen enteramente en la memoria de la GPU, mientras que unos 110 GB de tablas de consulta, llamadas tablas Engram, permanecen en la RAM normal del sistema. La obtención de datos desde la RAM cuesta unos 0,12 milisegundos por paso, lo que según el constructor apenas afecta a las cifras de velocidad.