Deep Finder: quelloffenes Projekt für die tiefgehende Inferenzsuche mit lokalem Wissen

Allgemeine Einführung

Deep Searcher ist ein leistungsfähiges Tool, das Large Language Models (LLMs) und Vektordatenbanken kombiniert, um auf der Grundlage privater Daten zu suchen, zu bewerten und Schlussfolgerungen zu ziehen, die hochpräzise Antworten und umfassende Berichte liefern. Deep Searcher unterstützt eine Vielzahl von eingebetteten Modellen und großen Sprachmodellen, wie z.B. DeepSeek und OpenAI, und maximiert die Nutzung interner Daten bei gleichzeitiger Gewährleistung der Datensicherheit. Es unterstützt auch die Verwaltung von Vektordatenbanken wie Milvus, die eine Datenpartitionierung für einen effizienteren Abruf ermöglichen.

Funktionsliste

• Suche nach privaten DatenMaximale Nutzung von Daten innerhalb des Unternehmens und Gewährleistung der Datensicherheit.
• Verwaltung von VektordatenbankenUnterstützung für Vektordatenbanken wie Milvus, die eine Datenpartitionierung für eine effizientere Suche ermöglichen.
• Flexible Einbettungsoptionen: Kompatibel mit mehreren eingebetteten Modellen zur Optimierung der Auswahl.
• Unterstützung mehrsprachiger ModelleUnterstützung für große Modelle wie DeepSeek, OpenAI, etc. für intelligente Q&A und Inhaltsgenerierung.
• Dokumenten-LaderLokales Laden von Dateien wird unterstützt und Web-Crawling ist in Vorbereitung.
• Flexibilität bei der KonfigurationBenutzer können die Konfiguration nach ihren Bedürfnissen anpassen.

Hilfe verwenden

Ablauf der Installation

1. Besuchen Sie das Deep Searcher GitHub-Repository.
2. Klonen Sie das Repository nach lokal:

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. Rufen Sie den Repository-Katalog auf:

   cd deep-searcher
   

4. Installieren Sie die Abhängigkeit:

   pip install -r anforderungen.txt
   

5. Konfigurieren Sie die Vektordatenbank (z.B. Milvus) und fügen Sie die Konfigurationsinformationen in die Projektkonfigurationsdatei ein.

Richtlinien für die Verwendung

1. Suche nach privaten Daten::
   • Import von internen Unternehmensdaten in eine Vektordatenbank.
   • Verwenden Sie die Suchfunktion von Deep Searcher, um nach Daten zu suchen:

     from deepsearcher import DeepSearcher
     Sucher = DeepSearcher(config)
     results = searcher.search(query)
     

2. Verwaltung von Vektordatenbanken::
   • Konfigurieren und verwalten Sie Milvus oder andere Vektordatenbanken.
   • Verwenden Sie die von Deep Searcher bereitgestellte Schnittstelle für die Datenpartitionierung und -verwaltung.
3. Flexible Einbettungsoptionen::
   • Wählen Sie das geeignete Einbettungsmodell auf der Grundlage der Geschäftsanforderungen.
   • Integrieren Sie eingebettete Modelle mit Deep Searcher für eine optimale Suche.
4. Integration von Online-Inhalten::
   • Konfigurieren Sie Online-Inhaltsquellen und kombinieren Sie sie mit internen Unternehmensdaten, um umfassendere Antworten zu erhalten.
   • Online-Inhaltsabfrage und -integration über die Deep Searcher-Schnittstelle.
5. intelligentes Frage- und Antwortsystem (Q&A)::
   • Aufbau eines intelligenten Q&A-Systems auf der Grundlage von Unternehmensdaten mit Deep Searcher.
   • Konfigurieren Sie die Wissensbasis des Quizsystems und trainieren und optimieren Sie es.
6. Informationsabfrage::
   • Verwenden Sie Deep Searcher, um die Abfrageeffizienz in einer Vielzahl von Informationsabfrageszenarien zu verbessern.
   • Anpassung der Abrufstrategien und Algorithmen an die geschäftlichen Anforderungen.

Beispielcode (Rechnen)

from deepsearcher import DeepSearcher
# Initialisierung des Deep Searcher
config = {
'vector_db': 'milvus', 'embedding_model': 'bert', 'embedding_model': 'bert'
embedding_model': 'bert', 'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# Suche nach internen Unternehmensdaten
query = "Suche nach Unternehmensdaten"
results = searcher.search(query)
print(ergebnisse)
# Online-Inhalte einbinden
online_results = searcher.integrate_online_content(query)
print(online_results)