Deep Searcher：企业私有文档高效检索与智能问答

综合介绍

Deep Searcher 是一个结合强大大语言模型（如 DeepSeek 和 OpenAI）和向量数据库（如 Milvus）的工具，旨在基于私有数据进行搜索、评估和推理，提供高度准确的答案和综合报告。该项目适用于企业知识管理、智能问答系统和信息检索场景。Deep Searcher 支持多种嵌入模型和大语言模型，并且能够管理向量数据库，确保数据的高效检索和安全利用。

功能列表

• 私有数据搜索：最大化利用企业内部数据，确保数据安全。
• 向量数据库管理：支持 Milvus 等向量数据库，允许数据分区以提高检索效率。
• 灵活的嵌入选项：兼容多种嵌入模型，便于选择最佳方案。
• 多种大语言模型支持：支持 DeepSeek、OpenAI 等大模型，用于智能问答和内容生成。
• 文档加载器：支持本地文件加载，未来将增加网页爬取功能。

使用帮助

安装流程

1. 克隆仓库：

   git clone https://github.com/zilliztech/deep-searcher.git

2. 创建 Python 虚拟环境（推荐）：

   python3 -m venv .venv
source .venv/bin/activate

3. 安装依赖：

   cd deep-searcher
pip install -e .

4. 配置 LLM 或 Milvus： 编辑 examples/example1.py 文件，根据需要配置 LLM 或 Milvus。
5. 准备数据并运行示例：

   python examples/example1.py

使用说明

1. 配置 LLM： 在 deepsearcher.configuration 模块中，使用 set_provider_config 方法配置 LLM。例如，配置 OpenAI 模型：

   config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o"})

2. 加载本地数据： 使用 deepsearcher.offline_loading 模块中的 load_from_local_files 方法加载本地数据：

   load_from_local_files(paths_or_directory="your_local_path")

3. 查询数据： 使用 deepsearcher.online_query 模块中的 query 方法进行查询：

   result = query("Write a report about xxx.")

详细功能操作流程

1. 私有数据搜索：
   • 确保数据安全的前提下，最大化利用企业内部数据。
   • 当需要更准确的答案时，可以集成在线内容。
2. 向量数据库管理：
   • 支持 Milvus 等向量数据库，允许数据分区以提高检索效率。
   • 未来计划支持更多向量数据库（如 FAISS）。
3. 灵活的嵌入选项：
   • 兼容多种嵌入模型，便于选择最佳方案。
4. 多种大语言模型支持：
   • 支持 DeepSeek、OpenAI 等大模型，用于智能问答和内容生成。
5. 文档加载器：
   • 支持本地文件加载，未来将增加网页爬取功能。