Le dernier chatbot d'IA de Nvidia fonctionne indépendamment sur votre PC et est entièrement gratuit.

Les GPU GeForce RTX 40 de Nvidia.

Si vous possédez un GPU GeForce RTX série 30 ou plus récent, l'application de démonstration, appelée "Chat with RTX", permet d'accéder à des services de contenu personnalisés qui ne nécessitent pas de connexion Internet.

Nvidia a lancé Chat with RTX, un chatbot d'intelligence artificielle capable de fonctionner sur n'importe quel PC équipé d'une carte graphique RTX 30 ou 40 avec au moins 8 Go de VRAM.

Il est également possible d'extraire et de résumer des documents locaux ou des vidéos YouTube.

Lecture recommandée : [World's Best AI Chatbots : ChatGPT and Other Alternatives] (Les meilleurs chatbots IA du monde : ChatGPT et autres alternatives)

Alimentée par le logiciel TensorRT-LLM de Nvidia, l'application ne se contente pas de générer du contenu, mais apprend également à partir de documents fournis par l'utilisateur, avec la prise en charge de types de fichiers tels que .txt, .pdf, .doc/.docx, .xml, et la possibilité de créer un lien vers l'URL d'une vidéo YouTube.

Après avoir sélectionné le contenu utilisé pour former le robot, les utilisateurs peuvent lui poser des questions personnalisées sur ce contenu. Par exemple, le robot peut donner des instructions étape par étape à partir d'une vidéo d'instruction sur YouTube, ou indiquer à l'utilisateur quelle batterie est enregistrée dans sa liste de courses.

Les robots sont formés en fonction du contenu préféré de l'utilisateur, ce qui rend l'expérience plus personnelle et personnalisée. Le traitement localisé des données garantit la confidentialité des informations de l'utilisateur. Chat with RTX" garantit la sécurité des données de l'utilisateur car il ne repose pas sur des services en nuage et peut réagir rapidement même dans un environnement sans réseau.

Voir aussi :[ChatGPT vs Copilot : Quel chatbot IA est le meilleur pour vous ?]

Pour faire fonctionner ce chatbot, vous aurez besoin d'un GPU Nvidia GeForce RTX série 30 ou supérieur avec au moins 8 Go de mémoire vidéo". Chat with RTX nécessite également le système d'exploitation Windows 10 ou 11 et les derniers pilotes GPU de Nvidia.

Nvidia a montré que son logiciel TensorRT-LLM combine la génération augmentée par récupération (RAG) et l'accélération RTX pour permettre de "chatter avec RTX" sans dépendre du réseau, en utilisant des fichiers locaux comme base de connaissances et en les combinant avec des fonctionnalités telles que Mistral et les grands modèles linguistiques (LLM) open source comme Llama 2 pour fournir des réponses précises.

Chat avec RTX Review

Nvidia a dévoilé aujourd'hui son [Chat avec RTXUne première version de ] - une application de démonstration qui vous permet de faire fonctionner votre propre chatbot d'IA sur votre PC. Qu'il s'agisse d'une vidéo YouTube ou d'un document personnel, il peut être utilisé pour générer des résumés ou obtenir des réponses pertinentes basées sur des données personnelles. Le processus se déroule entièrement sur votre ordinateur local, et tout ce dont vous avez besoin est une carte graphique de la série RTX 30 ou 40 avec au moins 8 Go de VRAM.

J'ai brièvement essayé Chat avec RTX au cours de la journée écoulée, et bien que l'application soit encore rudimentaire, je vois déjà qu'elle pourrait devenir un outil précieux pour la recherche de données, à la fois pour les journalistes et pour tout utilisateur qui a besoin d'analyser de nombreux documents.

Chat with RTX prend en charge les vidéos YouTube. Il suffit d'entrer l'URL de la vidéo pour rechercher des sous-titres spécifiques ou résumer l'ensemble de la vidéo. C'est particulièrement utile pour moi lorsque je recherche des podcasts vidéo, surtout lorsque je cherche un contenu spécifique de la récente semaine de rumeurs sur le nouveau changement de stratégie de Microsoft pour la Xbox.

Cependant, il n'est pas parfait lorsqu'il s'agit de rechercher des vidéos YouTube. En essayant de rechercher des sous-titres pour une vidéo YouTube de _Verge_, Chat with RTX télécharge à la place les sous-titres d'une vidéo complètement différente, ce qui est apparemment un bug dans les versions antérieures.

Figure 1 : Chat avec RTX excelle dans la recherche de documents locaux.

Lorsqu'il fonctionne correctement, j'ai pu trouver le contenu pertinent dans la vidéo en quelques secondes. J'ai également utilisé Chat with RTX pour analyser l'ensemble des documents de l'affaire _FTC v. Microsoft_. Lors de mon reportage sur cette affaire l'année dernière, j'ai parcouru rapidement un grand nombre de documents de la

La documentation est un grand défi, mais Chat avec RTX me permet de répondre aux questions presque instantanément.

Par exemple, le chatbot a pu résumer avec précision la stratégie Xbox Game Pass de Microsoft à partir de documents internes rendus publics par le procès :

Selon les informations générales fournies, Xbox Game Pass est un service d'abonnement à des contenus de jeux qui permet d'accéder à une bibliothèque de jeux en payant un forfait mensuel unique. Il s'agit d'une plateforme qui permet aux joueurs de jouer à leurs jeux n'importe où, tout en permettant aux éditeurs d'atteindre les joueurs du monde entier. Le service est soutenu par le projet xCloud et la série X de la Xbox et vise à fournir aux éditeurs un environnement favorable à la réalisation de leurs jeux. L'objectif stratégique principal de la CSA Gaming est de développer le Xbox Game Pass, avec un marché mondial pouvant atteindre 750 millions d'abonnés potentiels. Le service est confronté à trois principaux défis en matière de contenu : la demande de contenu différencié, l'extension aux plateformes autres que les consoles et la disponibilité limitée du contenu.

J'ai également trouvé l'outil utile pour scanner rapidement des documents PDF et vérifier les données. Alors que le système Copilot de Microsoft ne gère pas très bien les fichiers PDF dans Word, le Chat de Nvidia avec RTX a pu facilement extraire toutes les informations clés et était si réactif qu'il n'y avait presque pas de latence perceptible, ce qui est une expérience très différente de l'utilisation des chatbots ChatGPT ou Copilot basés sur le cloud.

Le principal défaut de Chat with RTX est qu'il ressemble vraiment à une première démo de développeur. En réalité, Chat with RTX installe un serveur web et une instance Python sur votre PC, traite les données entrantes via un modèle Mistral ou Llama 2, puis utilise le cœur Tensor de Nvidia pour accélérer le processus de requête via les GPU RTX.

Figure 2 : La précision du chat avec RTX est parfois faussée.

Sur mon PC équipé d'un processeur Intel Core i9-14900K et d'un GPU RTX 4090, l'installation de Chat with RTX a pris environ 30 minutes. L'application pèse près de 40 Go, l'instance Python occupant environ 3 Go de RAM sur les 64 Go de RAM de mon système. Une fois l'application lancée, vous pouvez accéder à Chat with RTX via un navigateur, l'arrière-plan affichant le processus et les éventuels codes d'erreur via une invite de commande.

Nvidia ne l'a pas lancée comme une application à part entière que tous les utilisateurs de RTX devraient télécharger et installer immédiatement. L'application présente quelques problèmes et limitations connus, notamment le fait que l'attribution des sources n'est pas toujours exacte. J'ai d'abord essayé d'indexer 25 000 documents, mais l'application s'est bloquée et les préférences ont dû être effacées pour redémarrer.

En outre, Chat with RTX ne se souvient pas du contexte précédent, de sorte que les questions suivantes ne peuvent pas être basées sur le contexte de la question précédente. Il crée également des fichiers JSON dans le dossier d'index, je ne recommanderais donc pas d'utiliser cette fonctionnalité en gros dans le dossier Documents sous Windows.

Néanmoins, je suis toujours très intéressé par les démonstrations technologiques de ce type, et Nvidia a vraiment montré son potentiel dans ce domaine. Cela augure bien de l'avenir des chatbots IA fonctionnant localement sur les PC, en particulier pour ceux qui ne veulent pas s'abonner à des services comme Copilot Pro ou ChatGPT Plus pour analyser leurs fichiers personnels.

Chat avec RTX Télécharger

Cliquer pour télécharger