GPUs GeForce RTX série 40 da Nvidia.
Se você possui uma GPU GeForce RTX série 30 ou mais recente, o aplicativo de demonstração, chamado "Chat with RTX", permite serviços de conteúdo personalizado que não exigem conexão com a Internet.
A Nvidia lançou o Chat with RTX, um chatbot de IA capaz de ser executado em qualquer PC equipado com uma placa de vídeo da série RTX 30 ou 40 com pelo menos 8 GB de VRAM.
Também há suporte para recuperação e resumo de documentos locais ou vídeos do YouTube.
Leitura recomendada:[Os melhores chatbots de IA do mundo: ChatGPT e outras alternativas]
Com a tecnologia do software TensorRT-LLM da Nvidia, o aplicativo não apenas gera conteúdo, mas também aprende com o material fornecido pelo usuário, com suporte para tipos de arquivos, incluindo .txt, .pdf, .doc/.docx, .xml e a capacidade de vincular o URL de um vídeo do YouTube.
Depois de selecionar o conteúdo usado para treinar o robô, os usuários podem fazer perguntas personalizadas sobre esse conteúdo. Por exemplo, o robô pode delinear instruções passo a passo de um vídeo instrutivo do YouTube ou informar ao usuário qual bateria está registrada em sua lista de compras.
Os bots são treinados com base no conteúdo preferido do usuário, tornando toda a experiência mais pessoal e personalizada. E o processamento localizado de dados garante a privacidade das informações do usuário." O Chat with RTX" garante a segurança dos dados do usuário, pois não depende de serviços em nuvem e pode responder rapidamente mesmo em um ambiente sem rede.
Veja também:[ChatGPT vs Copilot: qual chatbot de IA é melhor para você?]
Para executar esse chatbot, você precisará de uma GPU GeForce RTX série 30 ou superior da Nvidia com pelo menos 8 GB de memória de vídeo." O Chat with RTX também requer o sistema operacional Windows 10 ou 11 e os drivers de GPU mais recentes da Nvidia.
A Nvidia mostrou que seu software TensorRT-LLM combina Retrieval Augmented Generation (RAG) e aceleração RTX para permitir "bate-papo com RTX" sem depender da rede, usando arquivos locais como base de conhecimento e combinando-os com recursos como Mistral e modelos de linguagem grandes (LLMs) de código aberto, como o Llama 2, para fornecer respostas precisas.
Bate-papo com a RTX Review
A Nvidia apresentou hoje seu [Bate-papo com RTXUma versão inicial do ] - um aplicativo de demonstração que permite que você execute seu próprio chatbot de IA no seu PC. Seja um vídeo do YouTube ou um documento pessoal, ele pode ser usado para gerar resumos ou obter respostas relevantes com base em dados pessoais. Todo o processo ocorre inteiramente em seu computador local, e tudo o que você precisa é de uma placa de vídeo da série RTX 30 ou 40 com pelo menos 8 GB de VRAM.
Experimentei brevemente o Chat com o RTX no último dia e, embora o aplicativo ainda seja rudimentar, já posso ver o potencial para que ele se torne uma ferramenta valiosa para pesquisa de dados, tanto para jornalistas quanto para qualquer usuário que precise analisar vários documentos.
O Chat with RTX tem suporte para lidar com vídeos do YouTube. Basta inserir o URL do vídeo e ele permite que você pesquise legendas específicas ou resuma o vídeo inteiro. Isso é particularmente útil para mim ao pesquisar podcasts de vídeo, especialmente ao procurar conteúdo específico da semana recente de rumores sobre a nova mudança de estratégia do Xbox da Microsoft.
No entanto, ele não é perfeito quando se trata de pesquisar vídeos do YouTube. Ao tentar pesquisar legendas para um vídeo do YouTube do _Verge_, o Chat with RTX baixa legendas para um vídeo completamente diferente, o que aparentemente é um bug das versões anteriores.
Figura 1: O Chat com RTX é excelente na pesquisa de documentos locais.
Quando funciona corretamente, consegui encontrar conteúdo relevante no vídeo em segundos. Também usei o Chat com RTX para analisar o conjunto de documentos do caso _FTC v. Microsoft_. Durante a reportagem sobre esse caso no ano passado, a navegação rápida em um grande número de
A documentação é um grande desafio, mas o Chat com RTX me permite concluir as consultas quase instantaneamente.
Por exemplo, o chatbot foi capaz de resumir com precisão a estratégia do Xbox Game Pass da Microsoft a partir de documentos internos tornados públicos pelo julgamento:
De acordo com as informações fornecidas, o Xbox Game Pass é um serviço de assinatura de conteúdo de jogos que fornece acesso a uma biblioteca de jogos mediante o pagamento de uma única taxa mensal. O objetivo é ser uma plataforma que permita que os jogadores joguem seus jogos em qualquer lugar, ao mesmo tempo em que permite que os editores alcancem jogadores de todo o mundo. O serviço conta com o suporte do Project xCloud e do Xbox Series X e tem como objetivo oferecer aos editores um ambiente favorável para a realização de seus jogos. O principal objetivo estratégico do Gaming CSA é ampliar o Xbox Game Pass, com um mercado global de até 750 milhões de assinantes em potencial. O serviço enfrenta três desafios principais de conteúdo: demanda por conteúdo diferenciado, expansão para plataformas além dos consoles e disponibilidade limitada de conteúdo.
Também achei a ferramenta útil para digitalizar rapidamente documentos PDF e verificar dados. Embora o próprio sistema Copilot da Microsoft não lide muito bem com arquivos PDF no Word, o Chat com RTX da Nvidia conseguiu extrair facilmente todas as informações importantes e foi tão responsivo que quase não houve latência perceptível, o que é uma experiência muito diferente da que ocorre quando se usa os chatbots ChatGPT ou Copilot baseados na nuvem.
A principal falha do Chat with RTX é que ele realmente parece uma demonstração inicial para desenvolvedores. Na realidade, o Chat with RTX instala um servidor da Web e uma instância do Python em seu PC, processa os dados recebidos por meio do modelo Mistral ou Llama 2 e, em seguida, usa o núcleo Tensor da Nvidia para acelerar o processo de consulta por meio das GPUs RTX.
Figura 2: A precisão do bate-papo com RTX às vezes é distorcida.
Em meu PC com um processador Intel Core i9-14900K e GPU RTX 4090, a instalação do Chat with RTX levou cerca de 30 minutos. O aplicativo tem quase 40 GB de tamanho, com a instância do Python ocupando cerca de 3 GB de RAM de um total de 64 GB de RAM no meu sistema. Depois de instalado e em execução, você pode acessar o Chat with RTX por meio de um navegador, com o plano de fundo exibindo o processo e quaisquer códigos de erro por meio de um prompt de comando.
A Nvidia não o lançou como um aplicativo completo que todos os usuários do RTX devem baixar e instalar imediatamente. Há alguns problemas e limitações conhecidos no aplicativo, incluindo o fato de que a atribuição da fonte nem sempre é precisa. Inicialmente, tentei fazer com que ele indexasse 25.000 documentos, mas isso fez com que o aplicativo travasse e as preferências tiveram que ser limpas para reiniciar.
Além disso, o Chat com RTX não se lembra do contexto anterior, portanto, os problemas subsequentes não podem se basear no contexto do problema anterior. Ele também cria arquivos JSON dentro da pasta de índice, portanto, não recomendo usar esse recurso de modo geral na pasta Documentos no Windows.
No entanto, ainda estou extremamente interessado em demonstrações tecnológicas como essa, e a Nvidia realmente demonstrou potencial nessa área. Isso é um bom presságio para o futuro dos chatbots de IA executados localmente em PCs, especialmente para aqueles que não querem assinar serviços como o Copilot Pro ou o ChatGPT Plus para analisar arquivos pessoais.
Bate-papo com RTX Download
