深度搜索器：利用本地知识进行深度推理搜索的开源项目

综合介绍

深度搜索器（Deep Searcher） 是一个结合大语言模型（LLMs）和向量数据库的强大工具，旨在基于私有数据进行搜索、评估和推理，提供高度准确的答案和综合报告。该项目适用于企业知识管理、智能问答系统和信息检索场景。Deep Searcher 支持多种嵌入模型和大语言模型，如 DeepSeek 和 OpenAI，并且能够最大化利用企业内部数据，同时确保数据安全。它还支持 Milvus 等向量数据库管理，允许数据分区以提高检索效率。

功能列表

• 私有数据搜索：最大化利用企业内部数据，确保数据安全。
• 向量数据库管理：支持 Milvus 等向量数据库，允许数据分区以提高检索效率。
• 灵活的嵌入选项：兼容多种嵌入模型，优化选择。
• 多种大语言模型支持：支持 DeepSeek、OpenAI 等大模型，用于智能问答和内容生成。
• 文档加载器：支持本地文件加载，正在开发网页爬取功能。
• 配置灵活：用户可以根据需求自定义配置。

使用帮助

安装流程

1. 访问 Deep Searcher GitHub 仓库。
2. 克隆仓库到本地：

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. 进入仓库目录：

   cd deep-searcher
   

4. 安装依赖：

   pip install -r requirements.txt
   

5. 配置向量数据库（如 Milvus），并将配置信息添加到项目配置文件中。

使用指南

1. 私有数据搜索：
   • 将企业内部数据导入向量数据库。
   • 使用 Deep Searcher 的检索功能进行数据搜索：

     from deepsearcher import DeepSearcher
     searcher = DeepSearcher(config)
     results = searcher.search(query)
     

2. 向量数据库管理：
   • 配置并管理 Milvus 或其他向量数据库。
   • 使用 Deep Searcher 提供的接口进行数据分区和管理。
3. 灵活的嵌入选项：
   • 根据业务需求选择合适的嵌入模型。
   • 将嵌入模型与 Deep Searcher 进行集成，以实现最佳搜索效果。
4. 在线内容整合：
   • 配置在线内容源，并将其与企业内部数据结合，提供更全面的答案。
   • 使用 Deep Searcher 的接口进行在线内容检索和整合。
5. 智能问答系统：
   • 使用 Deep Searcher 构建基于企业数据的智能问答系统。
   • 配置问答系统的知识库，并进行训练和优化。
6. 信息检索：
   • 在各种信息检索场景中使用 Deep Searcher 提高检索效率。
   • 根据业务需求定制检索策略和算法。

示例代码

from deepsearcher import DeepSearcher
# 初始化 Deep Searcher
config = {
'vector_db': 'milvus',
'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# 搜索企业内部数据
query = "企业数据搜索"
results = searcher.search(query)
print(results)
# 整合在线内容
online_results = searcher.integrate_online_content(query)
print(online_results)