Web-UI zur Texterstellung: Gradio-basierte Chat-Schnittstelle mit großem Sprachmodell und Unterstützung für mehrere Backend-Dienste

Allgemeine Einführung

Textgenerierungs-Web-UI ist eine Gradio-basierte Web-UI, die für das Large Language Model (LLM) entwickelt wurde. Es unterstützt eine Vielzahl von Textgenerierungs-Backends, einschließlich Transformers, llama.cpp und ExLlamaV2. Benutzer können das Tool mit einfachen Installationsschritten schnell einsetzen und für Textgenerierungsaufgaben verwenden.

Funktionsliste

• Unterstützung mehrerer ModelleUnterstützung von Transformers, llama.cpp, ExLlamaV2 und vielen anderen Textgenerierungs-Backends.
• Automatische Formatierung der EingabeaufforderungJinja2-Vorlagen verwenden, um Tipps automatisch zu formatieren.
• Mehrere Chat-ModiDie Chat-Modi sind Anweisung, Chat-Anweisung und Chat.
• Chat-Verlauf: Schnelles Umschalten zwischen verschiedenen Dialogen.
• Freie TexterstellungFreie Texterzeugung in Standard-/Notizbuch-Tabs, unabhängig von Chat-Runden.
• Mehrere ProbenahmeparameterEine breite Palette von Sampling-Parametern und Generierungsoptionen ermöglicht die Feinsteuerung der Texterstellung.
• ModellwechselEinfacher Wechsel zwischen den Modellen in der Schnittstelle ohne Neustart.
• LoRA-FeinabstimmungswerkzeugEinfache LoRA-Feinabstimmungswerkzeuge werden bereitgestellt.
• Erweiterte UnterstützungUnterstützt eine breite Palette von eingebauten und von Benutzern bereitgestellten Erweiterungen.

Hilfe verwenden

Ablauf der Installation

1. Klonen oder Herunterladen des Repositorys::

   git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

2. Ein Skript ausführen, das dem Betriebssystem entspricht::
   • Für Linux-Benutzer: bash
. /start_linux.sh

   • Für Windows-Benutzer: cmd
start_windows.bat

   • Für macOS-Benutzer: bash
. /start_macos.sh

   • Für WSL-Benutzer: bash
. /start_wsl.bat

3. GPU-Anbieter auswählenFolgen Sie den Aufforderungen zur Auswahl Ihres GPU-Anbieters.
4. Browser-ZugangAm Ende der Installation öffnen Sie den Browser und besuchen Sie http://localhost:7860.

Richtlinien für die Verwendung

1. Schnittstelle starten: Nachdem Sie das entsprechende Startskript ausgeführt haben, öffnen Sie Ihren Browser und besuchen Sie die http://localhost:7860.
2. Modell auswählenTextgenerierung: Wählen Sie das gewünschte Textgenerierungsmodell in der Schnittstelle aus.
3. EingabeaufforderungGeben Sie Ihr Stichwort in das Eingabefeld ein und wählen Sie die Generierungsparameter.
4. Text generierenKlicken Sie auf die Schaltfläche Generieren, um das Ergebnis des generierten Textes zu sehen.
5. UmschaltmodusWechseln Sie je nach Bedarf zwischen den Modi Instruct, Chat-Instruct und Chat.
6. Geschichte ansehenMit dem Menü "Verlauf" können Sie schnell zwischen den Gesprächen wechseln.
7. Erweiterte FunktionalitätInstallieren und aktivieren Sie die erforderlichen Erweiterungen für erweiterte Funktionen.

Detaillierte Funktionsweise

• Automatische Formatierung der EingabeaufforderungBei der Eingabe von Prompts werden diese automatisch mit der Jinja2-Vorlage formatiert, um sicherzustellen, dass sie dem Modell entsprechen.
• Mehrere ProbenahmeparameterBenutzer können Parameter wie Temperatur, Maximallänge und Wiederholungsstrafen einstellen, um den Stil und die Länge des generierten Textes zu steuern.
• Freie TexterstellungIn den Standard-/Notizbuch-Registerkarten können die Benutzer freie Texterstellung durchführen, die nicht auf Chat-Runden beschränkt ist und sich für lange Texterstellungsaufgaben eignet.
• LoRA-FeinabstimmungMit dem eingebauten LoRA-Feinabstimmungswerkzeug können die Benutzer das Modell feinabstimmen, um die Generierung bestimmter Aufgaben zu verbessern.
• Erweiterte UnterstützungDurch die Installation von Erweiterungen können die Benutzer weitere Funktionen wie Sprachsynthese, Bilderzeugung usw. hinzufügen.