PrivateGPT: Ein Dokumenten-Q&A-System mit vollständig lokalisiertem RAG-Bearbeitungsfluss

Allgemeine Einführung

PrivateGPT ist ein für Produktionsumgebungen verfügbares KI-Projekt, das es Nutzern ermöglicht, Dokumente mit Hilfe von Large Language Models (LLMs) ohne Internetverbindung zu quizzen. Das Projekt gewährleistet den Datenschutz für 100%, und alle Daten werden in der Ausführungsumgebung des Benutzers ohne Offenlegung verarbeitet.PrivateGPT wurde vom Zylon-Team entwickelt, um eine API bereitzustellen, die den Aufbau privater, kontextbezogener KI-Anwendungen unterstützt. Das Projekt folgt dem OpenAI-API-Standard und erweitert diesen, um sowohl normale als auch Streaming-Antworten zu unterstützen.PrivateGPT eignet sich für Bereiche, die ein hohes Maß an Datenschutz erfordern, wie z. B. das Gesundheitswesen und das Recht.

Ähnliche Projekte:Kotaemon: ein einfach zu verwendendes Open-Source-Werkzeug für multimodale Dokumentenquizs

Funktionsliste

• Dokumentenaufnahme: Verwalten des Parsens von Dokumenten, der Aufteilung, der Extraktion von Metadaten, der Erzeugung von Einbettungen und der Speicherung.
• Chat & Finish: Konversation und Aufgabenerledigung unter Verwendung des Kontexts des aufgenommenen Dokuments.
• Einbettungsgenerierung: Generierung von Einbettungen auf der Grundlage von Text.
• Context Block Search: nimmt die relevantesten Textblöcke eines Dokuments auf der Grundlage der Suchanfrage auf.
• Gradio UI Client: bietet einen funktionierenden Client zum Testen der API.
• Tools für Batch-Modell-Download-Skripte, Ingestion-Skripte, Dokumentenordner-Überwachung und mehr.

Hilfe verwenden

Ablauf der Installation

1. Klon-Lager: Klonen Sie zunächst das GitHub-Repository von PrivateGPT.

   git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt

2. Installation von Abhängigkeiten: VerwendungpipInstallieren Sie die erforderlichen Python-Abhängigkeiten.

   pip install -r anforderungen.txt

3. Konfiguration der UmgebungKonfigurieren Sie die Umgebungsvariablen und Setup-Dateien nach Bedarf.

   cp einstellungen-beispiel.yaml einstellungen.yaml
# Bearbeiten Sie die Datei settings.yaml, um die relevanten Parameter zu konfigurieren

4. Neue DiensteStarten Sie den Dienst mit Docker.

   docker-compose up -d

Verwendung der Q&A-Funktion der Dokumentation

1. BelegeingabeLegen Sie die zu verarbeitenden Dokumente in dem angegebenen Ordner ab und führen Sie das Ingestion-Skript aus.

   python scripts/ingest.py --input-folder pfad/zu/dokumente

2. Q&A InteraktionVerwenden Sie den Gradio UI-Client für Q&A-Interaktionen.

   python app.py
# Öffnen Sie Ihren Browser auf http://localhost:7860

API-Verwendung auf höchster Ebene

1. Parsen von Dokumenten und Generierung von EinbettungenParsing von Dokumenten und Generierung von Einbettungen mit Hilfe von High-Level-APIs.

   von private_gpt importieren HighLevelAPI
api = HighLevelAPI()
api.ingest_documents("pfad/zu/dokumente")

2. Kontextsuche und Generierung von AntwortenKontextabfrage und Antwortgenerierung mit Hilfe von High-Level-APIs.

   Antwort = api.chat("Ihre Frage")
print(Antwort)

Low-Level-API-Verwendung

1. Generation einbettenGenerieren von Texteinbettungen mit Hilfe der Low-Level-API.

   von private_gpt importieren LowLevelAPI
api = LowLevelAPI()
Einbettung = api.generate_embedding("Ihr Text")

2. KontextblocksucheContext block retrieval using low-level APIs.

   chunks = api.retrieve_chunks("Ihre Anfrage")
print(chunks)

Verwendung des Werkzeugsatzes

1. Batch Model DownloadVerwenden Sie das Skript Bulk Model Download, um die benötigten Modelle herunterzuladen.

   python skripte/download_models.py

2. Überwachung des DokumentenordnersAutomatisches Einlesen neuer Dokumente mit dem Tool Document Folder Monitor.

   python scripts/watch_folder.py --Ordner path/to/documents