El último chatbot de IA de Nvidia funciona de forma independiente en tu PC y es completamente gratuito.

GPU de la serie GeForce RTX 40 de Nvidia.

Si posees una GPU GeForce RTX serie 30 o posterior, la aplicación de demostración, denominada "Chat con RTX", permite disfrutar de servicios de contenidos personalizados que no requieren conexión a Internet.

Nvidia ha lanzado Chat with RTX, un chatbot de IA capaz de funcionar en cualquier PC equipado con una tarjeta gráfica de la serie RTX 30 o 40 con al menos 8 GB de VRAM.

También es posible recuperar y resumir documentos locales o vídeos de YouTube.

Lectura recomendada:[Los mejores chatbots de IA del mundo: ChatGPT y otras alternativas].

Desarrollada por el software TensorRT-LLM de Nvidia, la aplicación no sólo genera contenidos, sino que también aprende del material suministrado por el usuario, con soporte para tipos de archivo como .txt, .pdf, .doc/.docx, .xml y la capacidad de enlazar a la URL de un vídeo de YouTube.

Tras seleccionar el contenido utilizado para entrenar al robot, los usuarios pueden hacerle preguntas personalizadas sobre ese contenido. Por ejemplo, el robot podría resumir paso a paso las instrucciones de un vídeo instructivo de YouTube, o decirle al usuario qué pila está registrada en su lista de la compra.

Los bots se entrenan en función de los contenidos preferidos por el usuario, lo que hace que toda la experiencia sea más personal y personalizada. Y el tratamiento localizado de los datos garantiza la privacidad de la información del usuario". El "chat con RTX" garantiza la seguridad de los datos del usuario, ya que no depende de servicios en la nube y puede responder rápidamente incluso en un entorno sin red.

Ver también:[ChatGPT vs Copilot: ¿Qué chatbot de IA es mejor para ti?]

Para ejecutar este chatbot, necesitarás una GPU GeForce RTX serie 30 o superior de Nvidia con al menos 8 GB de memoria de vídeo." Chat con RTX también requiere el sistema operativo Windows 10 u 11 y los últimos controladores de GPU de Nvidia.

Nvidia ha demostrado que su software TensorRT-LLM combina la Generación Aumentada de Recuperación (RAG) y la aceleración RTX para permitir "chatear con RTX" sin depender de la red, utilizando archivos locales como base de conocimientos y combinándolos con funciones como Mistral y modelos lingüísticos de código abierto (LLM) como Llama 2 para ofrecer respuestas precisas.

Chatear con RTX Review

Nvidia ha presentado hoy su [Chatea con RTXUna primera versión de ], una aplicación de demostración que te permite ejecutar tu propio chatbot de IA en tu PC. Ya sea un vídeo de YouTube o un documento personal, puede utilizarse para generar resúmenes u obtener respuestas relevantes basadas en datos personales. Todo el proceso se lleva a cabo íntegramente en tu ordenador local, y lo único que necesitas es una tarjeta gráfica de la serie RTX 30 o 40 con al menos 8 GB de VRAM.

El pasado día probé brevemente el chat con RTX y, aunque la aplicación aún es rudimentaria, ya veo el potencial que tiene para convertirse en una valiosa herramienta de investigación de datos, tanto para periodistas como para cualquier usuario que necesite analizar numerosos documentos.

Chat con RTX tiene soporte para manejar vídeos de YouTube, simplemente introduces la URL del vídeo y te permite buscar subtítulos específicos o resumir todo el vídeo. Esto me resulta especialmente útil a la hora de buscar podcasts de vídeo, sobre todo cuando busco contenido específico de la reciente semana de rumores sobre el nuevo cambio de estrategia de Microsoft en Xbox.

Sin embargo, no es perfecto cuando se trata de buscar vídeos de YouTube. Al intentar buscar subtítulos para un vídeo de YouTube desde _Verge_, Chat con RTX descarga en su lugar subtítulos para un vídeo completamente diferente, lo que aparentemente es un error de versiones anteriores.

Figura 1: Chat con RTX destaca en la búsqueda de documentos locales.

Cuando funciona correctamente, he podido encontrar contenido relevante en el vídeo en cuestión de segundos. También he utilizado Chat con RTX para analizar el conjunto de documentos del caso _FTC contra Microsoft_. Mientras informaba sobre este caso el año pasado, al navegar rápidamente por un gran número de

La documentación es un gran reto, pero Chat con RTX me permite completar las consultas casi al instante.

Por ejemplo, el chatbot fue capaz de resumir con precisión la estrategia de Xbox Game Pass de Microsoft a partir de documentos internos hechos públicos durante el juicio:

Según los antecedentes facilitados, Xbox Game Pass es un servicio de suscripción a contenidos de juegos que proporciona acceso a una biblioteca de juegos mediante el pago de una única cuota mensual. Pretende ser una plataforma que permita a los jugadores jugar a sus juegos en cualquier lugar, al tiempo que permite a los editores llegar a jugadores de todo el mundo. El servicio está respaldado por Project xCloud y Xbox Series X y pretende ofrecer a los editores un entorno favorable para la realización de sus juegos. El principal objetivo estratégico de Gaming CSA es ampliar Xbox Game Pass, con un mercado global de hasta 750 millones de suscriptores potenciales. El servicio se enfrenta a tres retos principales: la demanda de contenidos diferenciados, la expansión a plataformas más allá de las consolas y la disponibilidad limitada de contenidos.

También me resultó útil para escanear rápidamente documentos PDF y verificar datos. Mientras que el propio sistema Copilot de Microsoft no maneja muy bien los archivos PDF dentro de Word, Chat con RTX de Nvidia fue capaz de extraer fácilmente toda la información clave y fue tan receptivo que prácticamente no tuvo latencia perceptible, lo cual es una experiencia muy diferente a cuando se utilizan los chatbots ChatGPT o Copilot basados en la nube.

El principal defecto de Chat with RTX es que realmente parece una demo inicial para desarrolladores. En realidad, Chat with RTX instala un servidor web y una instancia de Python en tu PC, procesa los datos entrantes a través de un modelo Mistral o Llama 2 y, a continuación, utiliza el núcleo Tensor de Nvidia para acelerar el proceso de consulta a través de las GPU RTX.

Figura 2: La precisión del chat con RTX a veces es desigual.

En mi PC, con un procesador Intel Core i9-14900K y una GPU RTX 4090, la instalación de Chat con RTX me llevó unos 30 minutos. La aplicación tiene un tamaño de casi 40 GB, y la instancia de Python ocupa unos 3 GB de RAM de un total de 64 GB de RAM en mi sistema.Una vez en marcha, puedes acceder a Chat con RTX a través de un navegador, con el fondo mostrando el proceso y cualquier código de error a través de un símbolo del sistema.

Nvidia no la lanzó como una aplicación completa que todos los usuarios de RTX deberían descargar e instalar inmediatamente. La aplicación presenta algunos problemas y limitaciones conocidos, como el hecho de que la atribución de fuentes no siempre es precisa. Al principio intenté indexar 25.000 documentos, pero la aplicación se bloqueó y tuve que borrar las preferencias para reiniciarla.

Además, Chat con RTX no recuerda el contexto anterior, por lo que las ediciones posteriores no pueden basarse en el contexto de la edición anterior. También crea archivos JSON dentro de la carpeta de índice, por lo que no recomiendo utilizar esta función de forma generalizada en la carpeta Documentos en Windows.

No obstante, me siguen interesando mucho las demostraciones tecnológicas de este tipo, y Nvidia ha demostrado realmente su potencial en este campo. Esto es un buen augurio para el futuro de los chatbots de IA que se ejecutan localmente en los PC, especialmente para aquellos que no quieren suscribirse a servicios como Copilot Pro o ChatGPT Plus para analizar archivos personales.

Chatear con RTX Descargar

Haga clic para descargar