PRAG: Q&Aシステムのパフォーマンス向上のためのパラメトリック検索拡張生成ツール

はじめに

PRAG (Parametric Retrieval-Augmented Generation)は、大規模言語モデル(Large Language Model: LLM)のパラメータ空間に外部知識を直接埋め込むことにより、生成機能を強化するように設計された革新的な検索拡張生成ツールである。PRAGは、データ拡張モジュール、パラメータ学習モジュール、様々なクイズデータセットの性能テスト用の推論モジュールを含む、エンドツーエンドの実装を提供する。

機能一覧

• データ強化モジュールドキュメントをデータ化。
• パラメーター・トレーニング・モジュールLoRAの追加パラメータを訓練して、文書のパラメータ化された表現を生成する。
• 推論モジュール関連文書のパラメータ化された表現をマージし、推論のためにLLMに挿入する。
• 環境インストール詳細な環境インストール手順と依存関係を提供します。
• 自己啓発エンハンス済みデータファイルの直接使用、または自己処理によるデータエンハンスに対応。
• 検索準備ウィキペディアのデータセットをダウンロードし、検索の準備をします。

ヘルプの使用

環境インストール

1. 仮想環境を作成し、起動する：

   conda create -n prag python=3.10.4
condaはpragをアクティブにする

2. 必要な依存関係をインストールする：

   pip install torch==2.1.0
pip install -r requirements.txt

3. 修正 src/root_dir_path.py 正鵠を得る ROOT_DIR 変数は、PRAGが保存されているフォルダのアドレスである。

データ強化

1. 事前にエンハンスされたデータファイルを使用する：

   tar -xzvf data_aug.tar.gz

2. 自己処理によるデータ強化：
   • ウィキペディアのデータセットをダウンロードする： バッシュ
mkdir -p data/dpr
wget -O data/dpr/psgs_w100.tsv.gz https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz

   • 意図する BM25 取得した： バッシュ
# 具体的な手順については、プロジェクトのドキュメントを参照してください。


パラメトリックトレーニング

1. 文書のパラメータ化された表現を生成する：

   # 具体的な手順については、プロジェクトのドキュメントを参照してください。

推論

1. 関連文書のパラメータ化された表現がマージされ、推論のためにLLMに挿入される：

   # 具体的な手順については、プロジェクトのドキュメントを参照してください。