NVIDIA ha introducido una nueva herramienta / tecnología llamada "Chat with RTX", a modo de alternativa para los chatbots de IA que funcionan con tecnología cloud. Este chatbot funciona con las gráficas GeForce RTX 30/40 aprovechando la compatibilidad con el software TensorRT-LLM & Retrieval Augmented Generated (RAG), compatible con las GPUs RTX y acelerado por los cores Tensor.

• NVIDIA presenta «Chatea con RTX», que permite el uso de chatbots de IA sin conexión en PC.
• Compatible con las series GeForce RTX 30 y 40, y se centra en mejorar la interacción del usuario.
• Admite varios formatos de texto y se integra con documentos personales para ofrecer respuestas personalizadas.
• Destaca limitaciones como el contexto de la memoria y los factores que afectan la relevancia de la respuesta.
• Parte de una tendencia más amplia hacia el uso de modelos de IA locales para la privacidad y la eficiencia.

¿Qué es Chat con RTX?

Chat con RTX es una aplicación de demostración que te permite personalizar un modelo de lenguaje de gran tamaño (LLM) GPT conectado a tu propio contenido: documentos, notas, vídeos u otros datos. Al aprovechar la generación aumentada por recuperación (RAG), TensorRT-LLM y la aceleración RTX, puedes consultar un chatbot personalizado para obtener respuestas contextualmente relevantes con rapidez. Como todo se ejecuta localmente en tu PC o estación de trabajo Windows RTX, obtendrás resultados rápidos y seguros.

Chat with RTX permite a los usuarios de estas GPUs aprovechar la potencia de sus tarjetas gráficas para ejecutar tareas de IA. Hemos visto a la IA acelerar aplicaciones de imagen y vídeo, pero los chatbots se habían quedado anclados en la nube.

Los usuarios pueden descargar versiones ligeras de algunos modelos de IA, algunos de los cuales pueden descargarse gratuitamente, aunque puede resultar algo farragoso para usuarios poco duchos en esto del "cacharreo". NVIDIA parece haber hecho fácil lo difícil con una app que se ejecuta localmente y a la que se accede a través del navegador. 

Chat with RTX es más que un parseador de texto y es compatible con diferentes formatos de archivos, como texto, pdf, doc/docx y xml. Emplea modelos de IA como Mistral o Llama2 para generar respuestas y puede acceder a recursos online, tales como vídeos de YouTube.

También podemos entregarle la URL de una lista de reproducción de YouTube y la aplicación nos devolverá la transcripción del contenido de los vídeos que recoge ese repositorio. A partir de ahí podemos llevar a cabo consultas sobre el contenido de la transcripción. No pinta nada mal. Un apunte importante: todo se ejecuta de forma local, en nuestro propio PC, por lo que las consultas que hacemos son seguras en la medida en que ninguno de nuestros datos sale a internet.

La GPU empleada tiene que tener un mínimo de 8 GB de VRAM, excluyendo a las RTX 3050 6GB de la lista de gráficas compatibles.

Según NVIDIA 'Chat with RTX' saca partido a las unidades funcionales implementadas en las GPU GeForce RTX 30 y 40 expresamente para lidiar con los algoritmos de inteligencia artificial, como los núcleos Tensor y RT. Poner a punto la versión de prueba de esta herramienta a la que hemos tenido acceso para preparar este artículo no ha sido trivial, pero después de hacer algunos ajustes ha funcionado correctamente. Este ejemplo ilustra con claridad qué tipo de operaciones podemos llevar a cabo con esta herramienta actuando sobre nuestros datos.

Puedes seguir este enlace para estar al tanto de las opciones de descarga e instalación. 

Fuentes:

https://www.noticias3d.com/noticia/94135/nvidia-chat-rtx-ia-gpus-geforce-30-40.html

https://www.xataka.com/robotica-e-ia/nvidia-se-guardaba-sorpresa-esta-aqui-su-ia-generativa-para-pc-compatible-geforce-rtx-30-40