Deep Finder: 局所的知識を利用した深層推論検索のためのオープンソースプロジェクト

はじめに

Deep Searcherは、大規模言語モデル（LLM）とベクトルデータベースを組み合わせた強力なツールで、プライベートデータに基づいて検索、評価、推論を行い、精度の高い回答と包括的なレポートを提供するように設計されています。企業の知識管理、インテリジェントなQ&Aシステム、情報検索シナリオに適しています。Deep Searcherは、以下のようなさまざまな組み込みモデルと大規模言語モデルをサポートしています。 ディープシーク やOpenAIをサポートし、データのセキュリティを確保しながら内部データを最大限に活用する。また、Milvusのようなベクトルデータベース管理にも対応しており、データのパーティショニングにより、より効率的な検索を可能にしている。

機能一覧

• プライベートデータ検索ビジネスにおけるデータの活用を最大化し、データのセキュリティを確保する。
• ベクター・データベース管理Milvusのようなベクトルデータベースをサポートし、より効率的な検索のためのデータ分割を可能にします。
• 柔軟な埋め込みオプション複数の組み込みモデルに対応し、最適な選択が可能。
• 多言語モデルのサポートDeepSeek、OpenAIなどのビッグモデルをサポートし、スマートなQ&Aやコンテンツ生成を実現。
• ドキュメント・ローダーローカルファイル読み込みに対応し、ウェブクローリングも開発中。
• 構成の柔軟性ユーザーは必要に応じて設定をカスタマイズすることができます。

ヘルプの使用

設置プロセス

1. Deep SearcherのGitHubリポジトリをご覧ください。
2. リポジトリをローカルにクローンする：

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. リポジトリ・カタログにアクセスする：

   CDディープサーチャー
   

4. 依存関係をインストールします：

   pip install -r requirements.txt
   

5. ベクターデータベース（例：Milvus）を設定し、設定情報をプロジェクト設定ファイルに追加します。

使用ガイドライン

1. プライベートデータ検索::
   • 社内データをベクターデータベースにインポートする。
   • データを検索するには、Deep Searcherの検索機能を使用します：

     from deepsearcher import DeepSearcher
     searcher = DeepSearcher(config)
     結果 = searcher.search(クエリ)
     

2. ベクター・データベース管理::
   • Milvusまたは他のベクターデータベースの設定と管理。
   • データのパーティショニングと管理には、Deep Searcherが提供するインタフェースを使用します。
3. 柔軟な埋め込みオプション::
   • ビジネス要件に基づいて、適切なエンベッディング・モデルを選択する。
   • 埋め込みモデルをDeep Searcherと統合し、最適な検索を実現。
4. オンライン・コンテンツの統合::
   • オンラインコンテンツソースを設定し、社内データと組み合わせることで、より包括的な回答を提供します。
   • Deep Searcherのインターフェイスを使用したオンライン・コンテンツの検索と統合。
5. インテリジェント質疑応答システム（Q&A）::
   • Deep Searcherを用いた企業データに基づくインテリジェントなQ&Aシステムの構築。
   • クイズシステムの知識ベースを設定し、トレーニングして最適化する。
6. 情報検索::
   • Deep Searcherを使用して、さまざまな情報検索シナリオで検索効率を向上させます。
   • ビジネスニーズに応じて、検索ストラテジーとアルゴリズムをカスタマイズ。

サンプルコード

from deepsearcher import DeepSearcher
# Deep Searcherの初期化
config = {
'vector_db': 'milvus', 'embedding_model': 'bert', 'embedding_model': 'bert'
'embedding_model': 'bert'.
}
searcher = DeepSearcher(config)
# 企業内データの検索
query = "エンタープライズ・データ検索"
results = searcher.search(query)
print(results)
# オンラインコンテンツを統合する
online_results = searcher.integrate_online_content(クエリ)
print(online_results)