Deep Searcher: recuperación eficiente de documentos privados de empresas y preguntas y respuestas inteligentes

Introducción general

Deep Searcher es una combinación de potentes modelos lingüísticos de gran tamaño (como el DeepSeek y OpenAI) y bases de datos vectoriales (por ejemplo, Milvus) son herramientas diseñadas para buscar, evaluar y razonar a partir de datos privados, proporcionando respuestas muy precisas e informes exhaustivos. El proyecto es adecuado para la gestión del conocimiento empresarial, los sistemas inteligentes de preguntas y respuestas y los escenarios de recuperación de información.Deep Searcher admite una amplia gama de modelos de incrustación y grandes modelos lingüísticos, y es capaz de gestionar bases de datos vectoriales para garantizar una recuperación eficiente y un uso seguro de los datos.

Lista de funciones

• Búsqueda de datos privados: Maximizar el uso de los datos dentro de la empresa y garantizar su seguridad.
• Gestión de bases de datos vectorialesSoporte de bases de datos vectoriales como Milvus, que permite la partición de datos para una recuperación más eficaz.
• Opciones de incrustación flexibles: Compatible con múltiples modelos de incrustación para facilitar la selección de la mejor opción.
• Modelos multilingüesSoporte para grandes modelos como DeepSeek, OpenAI, etc. para preguntas y respuestas inteligentes y generación de contenidos.
• Cargador de documentosLa carga local de archivos está soportada y el rastreo web se añadirá en el futuro.

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/zilliztech/deep-searcher.git

2. Crear un entorno virtual Python (recomendado):

   python3 -m venv .venv
source .venv/bin/activate

3. Instale la dependencia:

   cd deep-searcher
pip install -e .

4. Configuración de LLM o Milvus: Editar examples/example1.py para configurar LLM o Milvus según sea necesario.
5. Prepare los datos y ejecute el ejemplo:

   python examples/example1.py

Instrucciones de uso

1. Configuración de LLMEn deepsearcher.configuration utilice el módulo set_provider_config para configurar el LLM. Por ejemplo, configure el modelo OpenAI:

   config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o"})

2. Cargar datos locales: Uso deepsearcher.offline_loading en el módulo load_from_local_files para cargar datos locales:

   load_from_local_files(paths_or_directory="your_local_path")

3. Consultar datos: Uso deepsearcher.online_query en el módulo query Se consultan los métodos:

   result = query("Write a report about xxx.")

Flujo detallado de funcionamiento de las funciones

1. Búsqueda de datos privados::
   • Maximice el uso de los datos en su empresa al tiempo que garantiza su seguridad.
   • Los contenidos en línea pueden integrarse cuando se necesiten respuestas más precisas.
2. Gestión de bases de datos vectoriales::
   • Admite bases de datos vectoriales como Milvus, lo que permite particionar los datos para una recuperación más eficaz.
   • En el futuro está prevista la compatibilidad con más bases de datos vectoriales (por ejemplo, FAISS).
3. Opciones de incrustación flexibles::
   • Compatible con una amplia gama de modelos integrados para facilitar la selección de la mejor solución.
4. Modelos multilingües::
   • Compatibilidad con grandes modelos como DeepSeek, OpenAI, etc. para la generación inteligente de preguntas y respuestas y contenidos.
5. Cargador de documentos::
   • Admite la carga local de archivos y en el futuro se añadirá el rastreo web.