Deep Searcher: recuperación eficiente de documentos privados de empresas y preguntas y respuestas inteligentes

Introducción general

Deep Searcher 是一个结合强大大语言模型（如 DeepSeek 和 OpenAI）和向量数据库（如 Milvus）的工具，旨在基于私有数据进行搜索、评估和推理，提供高度准确的答案和综合报告。该项目适用于企业知识管理、智能问答系统和信息检索场景。Deep Searcher 支持多种嵌入模型和大语言模型，并且能够管理向量数据库，确保数据的高效检索和安全利用。

Lista de funciones

• Búsqueda de datos privados: Maximizar el uso de los datos dentro de la empresa y garantizar su seguridad.
• Gestión de bases de datos vectorialesSoporte de bases de datos vectoriales como Milvus, que permite la partición de datos para una recuperación más eficaz.
• Opciones de incrustación flexibles：兼容多种嵌入模型，便于选择最佳方案。
• Modelos multilingüesSoporte para grandes modelos como DeepSeek, OpenAI, etc. para preguntas y respuestas inteligentes y generación de contenidos.
• Cargador de documentos：支持本地文件加载，未来将增加网页爬取功能。

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/zilliztech/deep-searcher.git

2. 创建 Python 虚拟环境（推荐）：

   python3 -m venv .venv
source .venv/bin/activate

3. Instale la dependencia:

   cd deep-searcher
pip install -e .

4. 配置 LLM 或 Milvus： 编辑 examples/example1.py 文件，根据需要配置 LLM 或 Milvus。
5. 准备数据并运行示例：

   python examples/example1.py

Instrucciones de uso

1. Configuración de LLM： 在 deepsearcher.configuration 模块中，使用 set_provider_config 方法配置 LLM。例如，配置 OpenAI 模型：

   config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o"})

2. 加载本地数据: Uso deepsearcher.offline_loading 模块中的 load_from_local_files 方法加载本地数据：

   load_from_local_files(paths_or_directory="your_local_path")

3. Consultar datos: Uso deepsearcher.online_query 模块中的 query 方法进行查询：

   result = query("Write a report about xxx.")

Flujo detallado de funcionamiento de las funciones

1. Búsqueda de datos privados::
   • 确保数据安全的前提下，最大化利用企业内部数据。
   • 当需要更准确的答案时，可以集成在线内容。
2. Gestión de bases de datos vectoriales::
   • 支持 Milvus 等向量数据库，允许数据分区以提高检索效率。
   • 未来计划支持更多向量数据库（如 FAISS）。
3. Opciones de incrustación flexibles::
   • 兼容多种嵌入模型，便于选择最佳方案。
4. Modelos multilingües::
   • 支持 DeepSeek、OpenAI 等大模型，用于智能问答和内容生成。
5. Cargador de documentos::
   • 支持本地文件加载，未来将增加网页爬取功能。