UltraRAG: データ構築とモデル微調整を簡素化するワンストップRAGシステムソリューション

はじめに

UltraRAGは、清華大学THUNLPグループ、東北大学NEUIRグループ、Modelbest.Inc、9#AISoftチームによって共同提案されたRAG（Retrieval Augmented Generation）システムソリューションです。UltraRAGは、データ構築からモデルの微調整までの全プロセスを劇的に簡素化し、研究者や開発者が複雑なタスクに効率的に対応できるよう支援します。そのコードフリープログラミングWebUIは、マルチモーダルRAGソリューションVisRAGを含む、セットアップと最適化プロセスの全チェーンをユーザーが簡単に操作できるようサポートします。

機能一覧

• コードフリー・プログラミング WebUIのサポートユーザーは、プログラミングの経験がなくても、リンクのセットアップと最適化の全プロセスを操作することができます。
• ワンクリック合成と微調整ソリューションKBAlignやRAG-DDRといった独自の手法に基づき、ワンクリックでシステマティックなデータ構築と検索、多様なモデル微調整ストラテジーによるパフォーマンス最適化をサポートします。
• 多次元、多段階のロバスト評価核となるRAGEvalの方法論は、多段階評価アプローチと組み合わされ、「モデル評価」の頑健性を著しく高めている。
• 研究フレンドリーなワーク・インテグレーションの探求THUNLP-RAGグループが独自に開発した方法論と、その他の最先端のRAGメソッドを含み、モジュールレベルの継続的な調査と開発をサポートします。
• 迅速な展開DockerとCondaによる迅速なデプロイをサポートし、ユーザがすぐに使い始められるようにします。

ヘルプの使用

環境依存

• CUDAバージョン12.2以上が必要です。
• Pythonのバージョンは3.10以上である必要がある。

迅速な展開

Dockerによるデプロイメント

1. 以下のコマンドを実行する：

   docker-compose up --build -d

2. ブラウザからのアクセスhttp://localhost:8843.

Condaによるデプロイメント

1. Conda環境を作成する：

   conda create -n ultrarag python=3.10

2. Conda環境をアクティブにする：

   コンダ・アクティベート・ウルトララグ

3. 関連する依存関係をインストールする：

   pip install -r requirements.txt

4. 以下のスクリプトを実行してモデルをダウンロードする（デフォルトのダウンロード先はリソース/モデル(カタログ）：

   python scripts/download_models.py

5. デモページを実行する：

   streamlit run ultrarag/webui/webui.py --server.fileWatcherType none

主な機能

コードフリー・プログラミング WebUI

1. WebUI ページにアクセスし、目的の RAG ソリューション（VisRAG など）を選択します。
2. データ構築、モデルの微調整、プロンプトに基づく推論評価のためのセットアップ。
3. One-click Synthesis and Fine-tuning "ボタンをクリックすると、自動的にデータ構築とモデルの微調整が完了します。

多次元、多段階のロバスト評価

1. WebUI で RAGEval 評価方法を選択します。
2. 評価パラメータを設定し、「評価開始」ボタンをクリックする。
3. システムは自動的に多段階評価を行い、評価報告書を作成する。

研究フレンドリーなワーク・インテグレーションの探求

1. WebUI で希望の RAG メソッドを選択します（例：THUNLP-RAG）。
2. プロンプトに従って、モジュールレベルの探索と開発を行う。
3. 探査開始」ボタンをクリックすると、システムが自動的に探査と開発を行う。