AIエンジニアリング研究所

概要 このガイドでは、純粋なPythonを使ってシンプルなRAG（Retrieval Augmented Generation）システムを作成する手順を説明します。埋め込みモデルと大規模言語モデル(LLM)を使って、関連ドキュメントを検索し、ユーザークエリに基づいて応答を生成します。 https://github.com/adithya-s-k/A...

はじめに 検索機能付き生成（RAG）は、大規模な言語モデルの利点と、知識ベースから関連情報を検索する機能を組み合わせた強力な手法である。このアプローチは、特定の検索された情報に基づくことで、生成される応答の品質と精度を向上させる。

はじめに BM25 Retrieval Augmented Generation（BM25 RAG）は、情報検索のためのBM25（Best Matching 25）アルゴリズムと、テキスト生成のための大規模な言語モデルを組み合わせた先進的な手法である。検証された確率的検索モデルを使用することで、この手法は生成された回答の精度と関連性を向上させる。

はじめに データ・チャンキングは、検索拡張世代（RAG）システムにおける重要なステップである。効率的なインデックス作成、検索、処理のために、大きな文書を管理しやすい小さな断片に分割します。このREADMEでは、RAGパイプラインで利用可能な様々なチャンキング手法の概要を説明します。 https://github.com/adithya-...

はじめに 評価は、検索機能拡張生成（RAG）システムの開発と最適化における重要な要素である。評価には、検索の有効性から生成された回答の関連性と信頼性に至るまで、RAGプロセスのあらゆる側面のパフォーマンス、精度、品質を測定することが含まれます。 RAG評価の重要性 効果的なRAGシステム...

並べ替えモデルは、ユーザの質問に対する意味的な一致度に基づいて候補文書のリストを並べ替えることで、意味的ランキングの結果を改善する。 よく使われるbge-reranker-v2-m3やcohere

センテンスウィンドウベースの検索RAGアプローチ はじめに センテンスウィンドウベースの検索RAG（Retrieval-Augmented Generation）アプローチは、AIが生成する応答の文脈認識と一貫性を強化するために設計された、RAGフレームワークの高レベル実装である。本アプローチは、大規模な言語モデルと高...

  はじめに センテンスウィンドウベースの検索補強型生成（RAG）法は、AIが生成する応答の文脈認識と一貫性を強化することを目的とした、RAGフレームワークの高レベル実装である。この手法は、大規模な言語モデルのパワーと効率的な情報検索を組み合わせることで、AIが生成する応答の文脈認識と一貫性を向上させる。

はじめに Auto Merge Retrieverは、Enhanced Retrieval Generation（RAG）フレームワークの高レベル実装である。潜在的に断片化された小さなコンテキストを、より大きく包括的なコンテキストにマージすることで、AIが生成する応答のコンテキスト認識と一貫性を強化することを目的としている。 https://github.com/adith...

はじめに クエリ変換ユーザーマニュアルでは、RAG（Retrieval-Augmented Generation）クエリエンジン、インテリジェンス、またはその他のプロセスで実行される前に、ユーザーのクエリを変換して曖昧さをなくすためのさまざまなテクニックを紹介します。これらの変換により、AIアプリケーションにおける応答の品質と関連性を向上させることができます。 https://github.com/adithya-s-k/AI-...

はじめに Self-Query RAG (SQRAG)は、インジェスト段階でメタデータ抽出を導入し、検索段階でインテリジェントなクエリパージングを導入することで、従来のRAGプロセスを強化する先進的な検索拡張生成（RAG）アプローチである。 https://github.com/adithya-s-k/AI-Engi...

はじめに RAG-Fusionは、RAG(Retrieval Augmented Generation)をベースに構築された高度な情報検索とテキスト生成の方法論である。このプロジェクトでは、RAG-Fusionを実装し、ユーザーのクエリに対して、より正確で、文脈に関連した、包括的な応答を提供する。 https://github.com/adithya-s-k...

はじめに RAPTOR（Recursive Abstract Processing for Tree-Structured Retrieval Enhanced Generation）は、先進的なRAG（Retrieval Enhanced Generation）手法である。階層的な文書構造化と要約技術を導入することで、従来のRAGプロセスを強化する。 https://github.com/adithya-s-k/AI-Engineering.acade...

ColBERT（Contextualised Post-Cultural Interaction based on BERT）は、従来の高密度埋め込みモデルとは異なる。ColBERTの仕組みを簡単に説明すると、トークンレベルの埋め込み：文書やクエリ全体に対して直接単一のベクトルを作成するのとは異なり、ColBERTはトークンごとに埋め込みベクトルを作成する。 その後...

  はじめに GraphRAG（Graph Structure Based Retrieval Enhanced Generation）は、先進的な検索・生成手法である。グラフデータ構造の利点と大規模言語モデル（LLM）の機能を組み合わせることで、従来のRAGシステムの制限をいくつか克服している。 https://github.com/adithya-s-k/AI-Engi...

  はじめに インテリジェント・ボディをベースとした、検索拡張世代を強化するアプローチ。マルチ・ドキュメント・エージェント型RAG（Retrieval Augmented Generation）は、マルチ・ドキュメント処理、知的身体システム、および大規模検索を組み合わせた高度な情報検索・生成手法である。