NvidiaのGeForce RTX 40シリーズGPU。
GeForce RTX 30シリーズまたはそれ以降のGPUを所有している場合、「Chat with RTX」と呼ばれるデモアプリにより、インターネット接続を必要としないパーソナライズされたコンテンツサービスが可能になります。
Nvidiaは、8GB以上のVRAMを搭載したRTX 30または40シリーズのグラフィックスカードを搭載したPC上で動作するAIチャットボット「Chat with RTX」を発表した。
また、ローカルの文書やYouTubeのビデオを検索して要約することもできる。
推薦図書：【世界最高のAIチャットボット：ChatGPTとその他の代替品
NvidiaのTensorRT-LLMソフトウェアを搭載したこのアプリは、コンテンツを生成するだけでなく、ユーザーが提供した資料から学習することもできる。.txt、.pdf、.doc/.docx、.xmlなどのファイル形式をサポートし、YouTubeビデオのURLにリンクすることもできる。
ロボットの訓練に使用するコンテンツを選択した後、ユーザーはそのコンテンツについてカスタマイズした質問をすることができる。例えば、YouTubeの解説動画からステップ・バイ・ステップの手順を説明したり、買い物リストにどの電池が記録されているかを教えてくれたりする。
ボットはユーザーの好みのコンテンツに基づいて訓練され、体験全体をよりパーソナルでカスタマイズされたものにします。また、データのローカライズされた処理により、ユーザー情報のプライバシーが保証されます。"RTXとのチャット "は、クラウドサービスに依存せず、ネットワークのない環境でも迅速に対応できるため、ユーザーデータの安全性を保証します。
関連記事：【ChatGPT vs Copilot：どちらのAIチャットボットが良いか？
このチャットボットを実行するには、NvidiaのGeForce RTX 30シリーズ以上のGPUと8GB以上のビデオメモリが必要です。"また、RTXを使用したチャットには、Windows 10または11オペレーティングシステムと最新のNvidia GPUドライバが必要です。
Nvidiaは、同社のTensorRT-LLMソフトウェアがRAG（Retrieval Augmented Generation）とRTXアクセラレーションを組み合わせ、ローカルファイルを知識ベースとして使用し、以下のような機能と組み合わせることで、ネットワークに依存することなく「RTXとのチャット」を可能にすることを示した。 ミストラル やLlama 2のようなオープンソースの大規模言語モデル(LLM)を使って、正確な答えを提供することができる。
RTXレビューとのチャット
Nvidiaは本日、[ ]を発表した。RTXとのチャット初期バージョンの ] - PC上で独自のAIチャットボットを実行できるデモアプリ。YouTubeの動画でも個人的な文書でも、要約を生成したり、個人的なデータに基づいて適切な回答を得たりするのに使用できる。すべてのプロセスはローカルコンピューター上で行われ、必要なのは8GB以上のVRAMを搭載したRTX 30または40シリーズのグラフィックカードだけです。
この1日、RTXでチャットを簡単に試してみたが、アプリケーションはまだ初歩的なものだが、ジャーナリストにとっても、多数の文書を分析する必要のあるユーザーにとっても、データ調査のための貴重なツールになる可能性をすでに感じている。
Chat with RTXはYouTubeの動画を扱うことができ、動画のURLを入力するだけで、特定の字幕を検索したり、動画全体を要約したりすることができる。これは、ビデオポッドキャストを検索するとき、特にマイクロソフトの新しいXbox戦略シフトに関する噂の最近の週から特定のコンテンツを探すときに特に便利です。
しかし、YouTube動画の検索に関しては完璧ではない。Verge_からYouTube動画の字幕を検索しようとすると、代わりにChat with RTXが全く別の動画の字幕をダウンロードしてしまうのだが、これはどうやら以前のバージョンのバグらしい。
図1：RTXを使ったチャットはローカル文書の検索に優れている。
RTXが正しく機能すれば、数秒以内にビデオ内の関連コンテンツを見つけることができる。私はまた、RTXとチャットを使って、_FTC v. Microsoft_事件のドキュメント・セットを分析した。昨年、この事件を報道しているときに、大量の
ドキュメンテーションは大きな課題ですが、RTXとのチャットでは、ほとんど瞬時にクエリーを完了することができます。
例えば、このチャットボットは、裁判によって公開された内部文書から、マイクロソフトのXboxゲームパス戦略を正確に要約することができた：
背景情報によると、Xbox Game Passはゲームコンテンツのサブスクリプションサービスであり、単一の月額料金を支払うことでゲームライブラリへのアクセスを提供する。ゲーマーはどこでもゲームをプレイでき、パブリッシャーは世界中のゲーマーにリーチできるプラットフォームを目指している。このサービスは、Project xCloudとXbox Series Xによってサポートされ、パブリッシャーがゲームを実現できる有利な環境を提供することを目的としている。Gaming CSAの中心的な戦略目標は、Xbox Game Passの規模を拡大することであり、潜在的な加入者数は全世界で7億5,000万人に達する。同サービスは、差別化されたコンテンツへの需要、コンソール以外のプラットフォームへの展開、限られたコンテンツの供給という3つの課題に直面している。
また、このツールはPDF文書を素早くスキャンしてデータを確認するのに役立つこともわかった。マイクロソフト独自のCopilotシステムはWord内のPDFファイルをうまく扱えないが、NvidiaのRTX搭載Chatはすべての重要な情報を簡単に抽出することができ、反応も非常によく、知覚できる遅延はほとんどなかった。これは、クラウドベースのChatGPTやCopilotチャットボットを使用する場合とはまったく異なる体験だ。
Chat with RTXの主な欠点は、初期の開発者向けデモのように感じられることだ。実際には、Chat with RTXはウェブサーバーとPythonインスタンスをPCにインストールし、MistralまたはLlama 2モデルを通じて入力データを処理し、NvidiaのTensorコアを使用してRTX GPUを通じてクエリ処理を高速化する。
図2：RTXを使ったチャットは精度にばらつきが出ることがある。
Intel Core i9-14900KプロセッサーとRTX 4090 GPUを搭載した私のPCでは、Chat with RTXのインストールに約30分かかった。アプリケーションのサイズは40GB近くあり、Pythonインスタンスは私のシステムの合計64GBのRAMのうち約3GBのRAMを占有しています。一旦起動して実行すると、ブラウザを通してChat with RTXにアクセスすることができ、バックグラウンドではコマンドプロンプトを通してプロセスとエラーコードが表示されます。
Nvidiaは、すべてのRTXユーザーがすぐにダウンロードしてインストールすべき本格的なアプリケーションとしてこれを発表したわけではない。このアプリには、ソースの帰属表示が必ずしも正確ではないなど、いくつかの既知の問題や制限がある。私は当初、25,000のドキュメントをインデックス化させようとしたが、これが原因でアプリがクラッシュし、環境設定をクリアして再起動する必要があった。
さらに、RTXでのチャットは前のコンテキストを記憶しないので、後続の問題は前の問題のコンテキストに基づくことはできません。また、indexフォルダ内にJSONファイルを作成しますので、WindowsのDocumentsフォルダにこの機能を卸すことはお勧めしません。
それでも、このような技術デモには非常に興味があるし、Nvidiaはこの分野で本当に可能性を示している。特に、個人ファイルを分析するためにCopilot ProやChatGPT Plusのようなサービスに加入したくない人にとっては。
RTXダウンロード
