Deep Finder : projet open source pour la recherche d'inférences profondes à l'aide de connaissances locales

Introduction générale

Deep Searcher est un outil puissant qui combine de grands modèles de langage (LLM) et des bases de données vectorielles. Il est conçu pour rechercher, évaluer et raisonner sur la base de données privées, en fournissant des réponses très précises et des rapports complets. Il convient à la gestion des connaissances des entreprises, aux systèmes intelligents de questions-réponses et aux scénarios de recherche d'informations.Deep Searcher prend en charge une variété de modèles intégrés et de grands modèles de langage, tels que DeepSeek et OpenAI, et maximise l'utilisation des données internes tout en garantissant la sécurité des données. Il prend également en charge la gestion des bases de données vectorielles telles que Milvus, qui permet le partitionnement des données pour une recherche plus efficace.

Liste des fonctions

• Recherche de données privéesLes données sont utilisées de manière optimale au sein de l'entreprise et la sécurité des données est garantie.
• Gestion des bases de données vectoriellesLe système de gestion des données vectorielles : il prend en charge les bases de données vectorielles telles que Milvus, ce qui permet de partitionner les données pour une recherche plus efficace.
• Options d'intégration flexiblesCompatible avec de nombreux modèles embarqués pour optimiser la sélection.
• Prise en charge des modèles multilinguesPrise en charge de grands modèles tels que DeepSeek, OpenAI, etc. pour des questions-réponses intelligentes et la génération de contenu.
• Chargeur de documentsLe chargement de fichiers locaux est pris en charge et l'exploration du web est en cours de développement.
• Flexibilité de la configurationLes utilisateurs peuvent personnaliser la configuration en fonction de leurs besoins.

Utiliser l'aide

Processus d'installation

1. Visitez le dépôt GitHub de Deep Searcher.
2. Cloner le référentiel en local :

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. Accédez au catalogue du dépôt :

   cd deep-searcher
   

4. Installer la dépendance :

   pip install -r requirements.txt
   

5. Configurer la base de données vectorielle (par exemple Milvus) et ajouter les informations de configuration au fichier de configuration du projet.

Lignes directrices pour l'utilisation

1. Recherche de données privées: :
   • Importation des données internes de l'entreprise dans une base de données vectorielle.
   • Utilisez la fonction de recherche de Deep Searcher pour rechercher des données :

     from deepsearcher import DeepSearcher
     searcher = DeepSearcher(config)
     results = searcher.search(query)
     

2. Gestion des bases de données vectorielles: :
   • Configurer et gérer Milvus ou d'autres bases de données vectorielles.
   • Utilisez l'interface fournie par Deep Searcher pour le partitionnement et la gestion des données.
3. Options d'intégration flexibles: :
   • Sélectionner le modèle d'intégration approprié en fonction des besoins de l'entreprise.
   • Intégrer des modèles intégrés à Deep Searcher pour une recherche optimale.
4. Intégration du contenu en ligne: :
   • Configurez les sources de contenu en ligne et combinez-les avec les données internes de l'entreprise pour fournir des réponses plus complètes.
   • Recherche et intégration de contenu en ligne à l'aide de l'interface de Deep Searcher.
5. système intelligent de questions et réponses (Q&R): :
   • Construction d'un système intelligent de questions-réponses basé sur des données d'entreprise à l'aide de Deep Searcher.
   • Configurer la base de connaissances du système de quiz, la former et l'optimiser.
6. recherche d'informations: :
   • Utilisez Deep Searcher pour améliorer l'efficacité de la recherche dans une variété de scénarios de recherche d'informations.
   • Personnaliser les stratégies de recherche et les algorithmes en fonction des besoins de l'entreprise.

exemple de code (informatique)

from deepsearcher import DeepSearcher
# 初始化 Deep Searcher
config = {
'vector_db': 'milvus',
'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# 搜索企业内部数据
query = "企业数据搜索"
results = searcher.search(query)
print(results)
# 整合在线内容
online_results = searcher.integrate_online_content(query)
print(online_results)