Deep Finder: proyecto de código abierto para la búsqueda por inferencia profunda mediante conocimiento local

Introducción general

Deep Searcher es una potente herramienta que combina grandes modelos lingüísticos (LLM) y bases de datos vectoriales, diseñada para buscar, evaluar y razonar a partir de datos privados, proporcionando respuestas muy precisas e informes exhaustivos. Es adecuado para la gestión del conocimiento empresarial, sistemas inteligentes de preguntas y respuestas y escenarios de recuperación de información.Deep Searcher soporta una variedad de modelos incrustados y grandes modelos de lenguaje, tales como DeepSeek y OpenAI, y maximiza el uso de los datos internos al tiempo que garantiza la seguridad de los datos. También es compatible con la gestión de bases de datos vectoriales como Milvus, que permite la partición de datos para una recuperación más eficiente.

Lista de funciones

• Búsqueda de datos privados: Maximizar el uso de los datos dentro de la empresa y garantizar su seguridad.
• Gestión de bases de datos vectorialesSoporte de bases de datos vectoriales como Milvus, que permite la partición de datos para una recuperación más eficaz.
• Opciones de incrustación flexibles: Compatible con múltiples modelos integrados para optimizar la selección.
• Modelos multilingüesSoporte para grandes modelos como DeepSeek, OpenAI, etc. para preguntas y respuestas inteligentes y generación de contenidos.
• Cargador de documentosLa carga local de archivos está soportada y se está desarrollando el rastreo web.
• Flexibilidad de configuraciónEl usuario puede personalizar la configuración en función de sus necesidades.

Utilizar la ayuda

Proceso de instalación

1. Visite el repositorio GitHub de Deep Searcher.
2. Clona el repositorio en local:

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. Vaya al catálogo de repositorios:

   cd deep-searcher
   

4. Instale la dependencia:

   pip install -r requirements.txt
   

5. Configure la base de datos de vectores (por ejemplo, Milvus) y añada la información de configuración al archivo de configuración del proyecto.

Normas de uso

1. Búsqueda de datos privados::
   • Importación de datos internos de la empresa a una base de datos vectorial.
   • Utilice la función de búsqueda de Deep Searcher para buscar datos:

     from deepsearcher import DeepSearcher
     searcher = DeepSearcher(config)
     results = searcher.search(query)
     

2. Gestión de bases de datos vectoriales::
   • Configurar y gestionar Milvus u otras bases de datos vectoriales.
   • Utilice la interfaz proporcionada por Deep Searcher para la partición y gestión de datos.
3. Opciones de incrustación flexibles::
   • Seleccione el modelo de integración adecuado en función de los requisitos de la empresa.
   • Integre modelos embebidos con Deep Searcher para una búsqueda óptima.
4. Integración de contenidos en línea::
   • Configure fuentes de contenido en línea y combínelas con datos internos de la empresa para ofrecer respuestas más completas.
   • Recuperación e integración de contenidos en línea mediante la interfaz de Deep Searcher.
5. sistema inteligente de preguntas y respuestas (Q&A)::
   • Creación de un sistema inteligente de preguntas y respuestas basado en datos empresariales mediante Deep Searcher.
   • Configure la base de conocimientos del sistema de cuestionarios y entrénela y optimícela.
6. recuperación de información::
   • Utilice Deep Searcher para mejorar la eficacia de la recuperación en diversos escenarios de recuperación de información.
   • Personalizar las estrategias y algoritmos de recuperación en función de las necesidades de la empresa.

código de ejemplo (informática)

from deepsearcher import DeepSearcher
# 初始化 Deep Searcher
config = {
'vector_db': 'milvus',
'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# 搜索企业内部数据
query = "企业数据搜索"
results = searcher.search(query)
print(results)
# 整合在线内容
online_results = searcher.integrate_online_content(query)
print(online_results)