Deep Searcher : extraction efficace de documents privés d'entreprise et questions-réponses intelligentes

Introduction générale

Deep Searcher 是一个结合强大大语言模型（如 DeepSeek 和 OpenAI）和向量数据库（如 Milvus）的工具，旨在基于私有数据进行搜索、评估和推理，提供高度准确的答案和综合报告。该项目适用于企业知识管理、智能问答系统和信息检索场景。Deep Searcher 支持多种嵌入模型和大语言模型，并且能够管理向量数据库，确保数据的高效检索和安全利用。

Liste des fonctions

• Recherche de données privéesLes données sont utilisées de manière optimale au sein de l'entreprise et la sécurité des données est garantie.
• Gestion des bases de données vectoriellesLe système de gestion des données vectorielles : il prend en charge les bases de données vectorielles telles que Milvus, ce qui permet de partitionner les données pour une recherche plus efficace.
• Options d'intégration flexibles：兼容多种嵌入模型，便于选择最佳方案。
• Prise en charge des modèles multilinguesPrise en charge de grands modèles tels que DeepSeek, OpenAI, etc. pour des questions-réponses intelligentes et la génération de contenu.
• Chargeur de documents：支持本地文件加载，未来将增加网页爬取功能。

Utiliser l'aide

Processus d'installation

1. Entrepôt de clonage :

   git clone https://github.com/zilliztech/deep-searcher.git

2. 创建 Python 虚拟环境（推荐）：

   python3 -m venv .venv
source .venv/bin/activate

3. Installer la dépendance :

   cd deep-searcher
pip install -e .

4. 配置 LLM 或 Milvus： 编辑 examples/example1.py 文件，根据需要配置 LLM 或 Milvus。
5. 准备数据并运行示例：

   python examples/example1.py

Mode d'emploi

1. Configuration du LLM: En deepsearcher.configuration 模块中，使用 set_provider_config 方法配置 LLM。例如，配置 OpenAI 模型：

   config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o"})

2. 加载本地数据: Utilisation deepsearcher.offline_loading 模块中的 load_from_local_files 方法加载本地数据：

   load_from_local_files(paths_or_directory="your_local_path")

3. 查询数据: Utilisation deepsearcher.online_query 模块中的 query 方法进行查询：

   result = query("Write a report about xxx.")

Fonction détaillée du déroulement des opérations

1. Recherche de données privées: :
   • 确保数据安全的前提下，最大化利用企业内部数据。
   • 当需要更准确的答案时，可以集成在线内容。
2. Gestion des bases de données vectorielles: :
   • 支持 Milvus 等向量数据库，允许数据分区以提高检索效率。
   • 未来计划支持更多向量数据库（如 FAISS）。
3. Options d'intégration flexibles: :
   • 兼容多种嵌入模型，便于选择最佳方案。
4. Prise en charge des modèles multilingues: :
   • 支持 DeepSeek、OpenAI 等大模型，用于智能问答和内容生成。
5. Chargeur de documents: :
   • 支持本地文件加载，未来将增加网页爬取功能。