Trieve：検索、レコメンデーション、アナリティクスを提供するフルサービスのRAGクラウドインフラストラクチャ

はじめに

TrieveはDevflow, Inc.によって開発された、検索、レコメンデーション、RAG（検索拡張生成）、分析のための包括的なインフラストラクチャです。TrieveはOpenAIとJinaのエンベッディングモデルを統合し、セマンティックベクトル検索を提供し、タイポに強い全文検索/ニューラル検索をサポートします。Trieveはまた、検索結果の正確性と関連性を保証するために、複数のフィルタリングとグルーピング機能をサポートし、推薦システムはユーザー体験を向上させるために、ユーザー行動に基づいたパーソナライズされたコンテンツ推薦を提供します。

オープンソースPDF to Markdown (PDF2MD): https://github.com/devflowinc/trieve/tree/main/pdf2md

機能一覧

• 自ホスト詳細なセルフホスティングガイドにより、VPCまたはローカル環境でのセルフホスティングをサポートします。
• 意味ベクトル検索OpenAIやJinaの組み込みモデルを統合し、高品質なセマンティックベクトル検索を提供します。
• 誤字許容度検索naver/efficient-splade-VI-BT-large-queryモデルを用いたtypo-tolerant neural sparse vector searchの提供。
• 節の強調表示検索結果に一致する単語や文章をハイライト表示することで、ユーザーエクスペリエンスを向上させます。
• レコメンダーシステムユーザーの行動（お気に入り、ブックマーク、「いいね！」など）に基づき、パーソナライズされたレコメンデーションを提供します。
• RAG API ルーティング複数のLLMアクセス・オプションとトピック・メモリ管理をサポートする統合OpenRouter。
• ハイブリッド検索BAAI/bge-reranker-largeを用いた並べ替え最適化により、最適な検索結果を提供。
• 鮮度バイアス最新のコンテンツに基づいて検索結果をバイアスをかけることで、古くなった検索結果を防ぎます。
• 調整可能な商業化クリック、カートに入れる、引用などのシグナルに基づいて関連性を調整します。
• 多重ろ過日付範囲、部分文字列マッチング、ラベル、数値、その他多くのフィルタータイプをサポートします。
• グルーピング機能複数のブロックを同じファイルの一部としてマークする機能をサポートし、上位の結果が重複しないようにします。

ヘルプの使用

設置プロセス

1. 環境を整えるcurl、gcc、g++、make、pkg-config、python3、libpq-dev、libssl-devなど、必要なパッケージがインストールされていることを確認する。
2. NodeJSとYarnのインストールNVM を使用して NodeJS LTS バージョンをインストールし、Yarn をグローバルにインストールします。
3. 環境変数の設定.envファイルを適当なディレクトリにコピーし、OpenAI APIキーを追加します。
4. Dockerサービスの開始docker-compose を使って、必要なコンテナサービスを開始する。
5. 地域開発ローカル開発サービスを管理し、モジュールを起動するには、tmuxpまたはターミナルタブを使用します。

使用ガイドライン

1. アカウントの作成ローカルサーバーにアクセスし、アカウントを作成し、テストデータセットをアップロードする。
2. データセットの検索ローカルサーバーを使用してデータセット検索を実行し、セットアップが正しく機能していることを確認する。
3. デバッグとサポート問題が発生した場合は、Discordを通じてサポートを受けるか、diesel::debugを使用してください。クエリ(&query).tostring() は SQL クエリをデバッグする。

主な機能

1. 意味ベクトル検索データをアップロードすると、システムは自動的にベクトル化を行い、ユーザーはAPIを通じてセマンティック検索を行うことができます。
2. レコメンダーシステムユーザーの行動データに基づき、システムが自動的に推奨コンテンツを生成し、ユーザーはAPIを通じて推奨結果を得ることができる。
3. RAG API ルーティングLLMを選択することができます。 ラグ の操作で、システムは対象のメモリ管理に基づいて最良の結果を提供する。
4. ハイブリッド検索ハイブリッド検索機能を使用すると、最も関連性の高い検索結果を提供するために、システムが自動的に順序を入れ替え、最適化します。
5. フィルタリングとグループ化ユーザーは、検索結果の正確性と関連性を確保するために、必要に応じてさまざまなフィルターやグループ分けを設定することができます。

上記の詳細なインストールガイドと使用ガイドにより、ユーザーは簡単にTrieveの機能を使い始めることができ、強力な検索、推薦、分析機能をフルに活用することができます。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る