AI工学アカデミー: 2.16 GraphRAG (グラフ構造に基づく検索補強生成法)

紹介

GraphRAG (Graph Structure Based Retrieval Augmented Generation) は、先進的な検索・生成手法である。グラフデータ構造の利点と大規模言語モデル（LLM）の機能を組み合わせることで、従来の検索・生成手法の欠点を克服している。 ラグ システムの限界

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/11_Graph_RAG

機関車

従来のRAGシステムは、クエリに対して検索を行う場合には優れた性能を発揮するが、以下のようなシナリオでは苦戦を強いられる：

1. 異なる情報間の複雑な関係を理解する。
2. 広範な文脈やテーマの理解を必要とするクエリを処理する。
3. 大規模で多様なデータセットから効率的に情報を処理し、取り出す。

GraphRAGは、グラフ構造を使って情報を表現し、ナビゲートすることで、よりコンテキストを意識したレスポンスを提供する。

方法論の詳細

ドキュメントの前処理とベクトルストアの作成

1. 文書摂取ソース文書を処理し、小さな塊に分割します。
2. エンティティと関係の抽出各文書ブロックを分析し、エンティティとそれらの間の関係を抽出する。
3. 要素の要約抽出されたエンティティと関係を、説明的なテキストブロックにまとめる。
4. グラフ構造の構築エンティティをノード、リレーションシップをエッジとするグラフ構造を作成する。
5. コミュニティ・テスト階層ライデンなどのアルゴリズムを用いたグラフのグループ化。
6. コミュニティのまとめ各コミュニティの核となるコンテンツを抽出するために、要約が作成されます。
7. 埋め込みベクトル生成文書ブロック、エンティティ、関係、コミュニティ要約の埋め込みベクトルを生成する。
8. ベクトルきおくそうちこれらの埋め込みベクトルをベクトルデータベースに格納し、効率的に検索できるようにする。

検索機能強化生成ワークフロー

1. ユーザークエリを分析し、重要なエンティティやトピックを特定する。
2. マルチレベル検索::
   • クエリに関連付けられているコミュニティを取得します。
   • これらのコミュニティの中で、特定の文書ブロック、エンティティ、関係がさらに検索される。
3. 検索された情報を一貫性のある文脈に統合する。
4. LLMを使用して最終的なレスポンスを生成する。
5. 必要に応じて、検索と生成を繰り返し、最終的な結果を最適化する。

GraphRAGのコア機能

1. 階層的情報表現異なる粒度レベルでの情報検索をサポート。
2. 関係的文脈の理解情報間の相関関係を効果的に利用する。
3. スケーラビリティ大規模データセットの効率的な処理を可能にするコミュニティ組織ベースのアプローチ。
4. 柔軟なクエリーサポート事実に特化したクエリから幅広い主題のクエリまで、効果的にサポートすることができます。
5. 解釈可能な検索情報検索経路を視覚化するグラフィカルな構造。

この方法の利点

1. 文脈理解の向上：グラフラグはより文脈に即した回答を提供できる。
2. 主題認知能力の向上：コミュニティーのグループ分けにより、幅広いトピックに関連するクエリーの理解が容易になる。
3. 幻覚の確率を減らす：構造化検索メカニズムがLLM反応のバイアスを減らす。
4. スケーラビリティ：GraphRAGは従来の手法よりも大規模で多様なデータセットに適している。
5. 柔軟性：ファクトコアからサブジェクトマイニングまで、さまざまなタイプのクエリに対応。

評決を下す

GraphRAGは、グラフベースの検索アプローチを導入することで、よりスマートで効率的な、文脈を考慮した検索強化型生成ソリューションを提供する。このアプローチは、知的AIシステム構築の可能性を広げる。