NVIDIA potencia la IA local con Nemotron 3.5 Lightning

• NVIDIA ha lanzado Nemotron 3.5 Lightning, un innovador modelo de código abierto diseñado para optimizar las cargas de trabajo de IA agéntica, logrando una velocidad hasta cuatro veces mayor en tarjetas GeForce RTX.
• Este lanzamiento llega acompañado de NeMo Switchyard, una biblioteca de código abierto capaz de gestionar y seleccionar automáticamente el modelo de IA más adecuado para cada etapa de una tarea específica.

NVIDIA presentó en el día de hoy a Nemotron 3.5 Lightning, su nuevo modelo de código abierto orientado específicamente a cargas de trabajo de IA agéntica. Este modelo se presentó junto a NeMo Switchyard, una biblioteca de código abierto encargada de decidir automáticamente qué modelo de IA debe utilizarse en cada fase de una tarea. La propuesta de NVIDIA parte de una idea sencilla: los agentes de IA que trabajan durante largos periodos no necesitan recurrir constantemente a enormes modelos de razonamiento. Muchas de sus operaciones son relativamente rutinarias. Como ejemplo, consultar herramientas, comprobar resultados, revisar código, responder consultas o delegar tareas. Para estos ejemplos, basta con utilizar modelos mucho más pequeños y rápidos.

Con esta arquitectura, NVIDIA busca crear lo que denomina un “sistema de modelos”, donde una IA de altas prestaciones se encargue de la planificación o de los problemas especialmente complejos y otros modelos especializados ejecuten el grueso del trabajo. El resultado de ello se traduce en una latencia, menor coste y un mejor aprovechamiento del hardware. Esto último es lo que importa, pues abre la puerta a una gran parte de estas cargas puedan ejecutarse de manera local en un PC con una GPU GeForce RTX, una workstation RTX PRO, un sistema DGX Spark, DGX Station o incluso dispositivos Jetson. Por no hablar de su futura plataforma RTX Spark.

NVIDIA Nemotron 3.5 Lightning tiene 30.000 millones de parámetros, pero solo utiliza 3.000 millones en cada operación

Nemotron 3.5 Lightning es un modelo Mixture-of-Experts de 30.000 millones de parámetros, aunque únicamente activa alrededor de 3.000 millones de parámetros para procesar cada token. Básicamente, es lo que utilizó la famosa compañía detrás de DeepSeek con su modelo. Esta "mezcla de expertos" permite conservar una capacidad considerable sin asumir el coste computacional que tendría ejecutar continuamente un modelo denso de 30.000 millones de parámetros. NVIDIA lo ha diseñado específicamente para agentes autónomos con grandes volúmenes de llamadas y tareas repetitivas. Es decir, donde la velocidad de respuesta y el coste de inferencia terminan siendo tan importantes como la capacidad máxima de razonamiento.

NVIDIA asegura que Nemotron 3.5 Lightning alcanza una velocidad de generación hasta cuatro veces superior a modelos abiertos de tamaño comparable. En PinchBench, NVIDIA afirma que consigue aproximadamente un 86% de precisión y completa 10.000 tareas un 30% más rápido que Qwen3.6 35B manteniendo una precisión similar.

Para conseguir esa velocidad, NVIDIA ha integrado predicción de múltiples tokens y speculative decoding. También necesitó recurrir a modelos auxiliares como DSpark y DFlash para ayudar a acelerar la generación. Nemotron 3.5 Lightning se distribuye además tanto en BF16 como en NVFP4, una cuantización de 4 bits destinada a reducir notablemente los requisitos de memoria y acelerar la inferencia. NVIDIA indica que el mismo checkpoint NVFP4 puede utilizarse desde servidores equipados con GPUs Blackwell, Hopper o Ampere, hasta sistemas locales como sus DGX Spark. El modelo también puede ejecutarse mediante herramientas habituales de IA local como LM Studio, llama.cpp, Ollama y Unsloth.

Uno de los puntos más importantes es precisamente que NVIDIA no limita el modelo a sus grandes centros de datos. La compañía confirma que puede ejecutarse de manera local en sistemas con una GeForce RTX 5090, DGX Spark y Jetson, mientras que en entornos empresariales puede escalar hacia workstations RTX PRO, centros de datos o directamente en la nube. Además, NVIDIA publica los pesos, recetas de entrenamiento y tantos datos de entrenamiento como permiten sus respectivas licencias de código abierto OpenMDW-1.1. Es decir, que permitir realizar ajustes mediante LoRA, supervised fine-tuning o reinforcement learning utilizando el ecosistema NeMo.

NeMo Switchyard decide automáticamente cuándo utilizar una IA potente y cuándo basta con un modelo más pequeño y rápido

La otra gran novedad es NVIDIA NeMo Switchyard. Hablamos de una biblioteca de código abierto destinada al model routing. En lugar de que una aplicación recurra siempre a GPT, Claude, Nemotron o Qwen, Switchyard analiza cada petición y decide cuál de los modelos disponibles ofrece el mejor equilibrio entre capacidad, coste y latencia. El sistema es independiente del proveedor, por lo que puede mezclar simultáneamente modelos abiertos, modelos comerciales y modelos de NVIDIA. Todo ello sin obligar al desarrollador a reconstruir su aplicación alrededor de cada servicio.

Por ejemplo, un agente de programación podría utilizar un modelo de razonamiento avanzado cuando tenga que entender una arquitectura compleja o solucionar un error difícil, pero recurrir posteriormente a Nemotron 3.5 Lightning para operaciones rutinarias, como realizar llamadas a las herramientas, modificar archivos, validar resultados o ejecutar acciones previamente planificadas. Switchyard puede incluso detectar que un modelo económico está teniendo dificultades y escalar automáticamente la tarea hacia un modelo más potente. También dispone de rutas basadas en clasificación, etapas de ejecución o algoritmos entrenables que estiman qué modelo tiene mayor probabilidad de resolver correctamente cada petición.

Las cifras publicadas muestran por qué NVIDIA considera este enfoque especialmente relevante para agentes que funcionan de manera continua. En una evaluación realizada junto a LangChain sobre 145 tareas agénticas multiturno, Switchyard repartió las peticiones entre Nemotron 3.5 Lightning y Claude Opus 4.8. Es decir, envió únicamente un 7% de las llamadas al modelo frontier. Según los resultados publicados, esto permitió reducir el coste en un 74%, aunque con una pérdida aproximada de seis puntos de precisión. Otros socios también han comunicado reducciones importantes. Ramp afirma haber reducido el coste un 58% y el tiempo de ejecución un 33%. Por su parte, Classmethod observó aproximadamente un 27% menos de coste manteniendo la calidad en sus primeras pruebas.

En resumen, la estrategia de NVIDIA no consiste simplemente en lanzar otro LLM más pequeño. Nemotron 3.5 Lightning y NeMo Switchyard están planteados como dos piezas complementarias de una misma arquitectura, donde los grandes modelos dejan de ejecutar absolutamente todo. Los modelos frontier se reservan para las partes realmente complejas. Los modelos pequeños, rápidos y potencialmente locales absorben la mayor parte de las operaciones. Este modelo híbrido cobrará gran importancia a medida que los asistentes tradicionales evolucionan hacia agentes autónomos que trabajan continuamente durante horas o incluso de forma permanente. Esto implicará ahorrar muchísimo dinero.