LocalGPT: Gewährleistung des Datenschutzes durch Kommunikation mit mehreren Dokumenten auf lokalen Geräten

Allgemeine Einführung

LocalGPT ist ein Open-Source-Projekt, das es Nutzern ermöglichen soll, mit Dokumenten auf lokalen Geräten zu kommunizieren und dabei den Datenschutz zu gewährleisten. Durch die Verwendung einer Vielzahl von Open-Source-Modellen kann LocalGPT Dokumenteninhalte verarbeiten und verstehen, ohne Daten in die Cloud hochzuladen. Das Projekt unterstützt mehrere Plattformen, darunter GPU, CPU, HPU und MPS, und bietet umfangreiche Funktionen wie Sitzungsprotokolle, API-Schnittstellen und GUIs. Das Ziel von LocalGPT ist es, Benutzern eine sichere und private Umgebung für die Interaktion mit Dokumenten in Szenarien zu bieten, die einen hohen Datenschutz erfordern.

Funktionsliste

• DatenschutzDie gesamte Datenverarbeitung erfolgt auf dem lokalen Gerät, wodurch die Datensicherheit des 100% gewährleistet ist.
• Unterstützung mehrerer ModelleEine breite Palette von Open-Source-Modellen wird unterstützt, darunter HF, GPTQ, GGML und GGUF.
• Mehrfache EinbettungEine Vielzahl von Open-Source-Einbettungsoptionen sind verfügbar.
• Modell WiederverwendungDas LLM kann nach dem Herunterladen wiederverwendet werden, ohne dass es immer wieder heruntergeladen werden muss.
• Gesprächsgeschichte: Erinnern Sie sich an den Verlauf des Dialogs in einer Sitzung.
• API-SchnittstelleRAG: Bietet eine API-Schnittstelle, um die Erstellung von RAG-Anwendungen zu erleichtern.
• grafische Benutzeroberfläche (GUI)Bietet eine API-basierte und eine eigenständige GUI (streamlit-basiert).
• Unterstützung mehrerer PlattformenUnterstützt mehrere Plattformen wie CUDA, CPU, HPU (Intel® Gaudi®) und MPS.

Hilfe verwenden

Ablauf der Installation

1. Klon-Lager: Führen Sie den folgenden Befehl in einem Terminal aus, um das LocalGPT-Repository zu klonen:

   git clone https://github.com/PromtEngineer/localGPT.git

2. Installation von Abhängigkeiten: Wechseln Sie in das Projektverzeichnis und installieren Sie die erforderlichen Abhängigkeiten:

   cd localGPT
pip install -r anforderungen.txt

3. Konfiguration der UmgebungKonfigurieren Sie die Umgebungsvariablen und Modellpfade nach Bedarf.

Verwendung

1. Neue Dienste: Führen Sie den folgenden Befehl aus, um den LocalGPT-Dienst zu starten:

   python run_localGPT.py

2. ZugangsschnittstelleÖffnen Sie einen Browser und rufen Sie die angegebene lokale Adresse auf, um auf die grafische Benutzeroberfläche zuzugreifen.
3. Ein Dokument hochladenUpload der zu bearbeitenden Dokumente in die Schnittstelle.
4. Einen Dialog beginnenGeben Sie eine Frage in das Dialogfeld ein und LocalGPT generiert eine Antwort basierend auf dem Inhalt des Dokuments.

Detaillierte Funktionsweise

• DatenschutzDie gesamte Datenverarbeitung erfolgt auf lokalen Geräten, wodurch die Datensicherheit von 100% gewährleistet ist. Die Benutzer müssen sich keine Sorgen über Datenverluste machen.
• Unterstützung mehrerer ModelleLocalGPT unterstützt eine Vielzahl von Open-Source-Modellen, so dass der Anwender je nach Bedarf das passende Modell für die Dokumentenverarbeitung auswählen kann.
• GesprächsgeschichteLocalGPT zeichnet den Verlauf der Gespräche in einer Sitzung auf, so dass die Benutzer den Inhalt früherer Gespräche leicht einsehen und verwalten können.
• API-SchnittstelleLocalGPT stellt API-Schnittstellen zur Verfügung, mit denen Entwickler ihre eigenen RAG-Anwendungen erstellen können, um sie besser anpassen zu können.
• grafische Benutzeroberfläche (GUI)LocalGPT bietet eine strömungsbasierte grafische Benutzeroberfläche, die es dem Benutzer ermöglicht, Dokumenten-Uploads und Dialogoperationen über eine intuitive Schnittstelle durchzuführen.

Beispiel für einen Betriebsablauf

1. Ein Dokument hochladenKlicken Sie auf die Schaltfläche "Dokument hochladen" und wählen Sie die zu bearbeitende Dokumentendatei aus.
2. Probleme bei der Eingabe: Geben Sie eine Frage in das Dialogfeld ein, z.B. "Was ist der Hauptinhalt dieses Dokuments?". .
3. Ansicht AntwortLocalGPT generiert Antworten, die auf dem Inhalt des Dokuments basieren, und zeigt sie in einem Dialogfeld an.
4. Sitzungen verwaltenBenutzer können die Sitzungshistorie einsehen und verwalten, um sie später leicht nachschlagen und nutzen zu können.