KoboldCpp: Einfaches Ausführen von GGUF-Modellen mit Bezug zu KoboldAI, mit API und GUI

Allgemeine Einführung

KoboldCpp ist eine einfach zu bedienende KI-Texterzeugungssoftware für GGML- und GGUF-Modelle, inspiriert von der originalen KoboldAI. Es ist eine einzelne, in sich geschlossene, verteilbare Version von Concedo, die auf der lama.cpp bauen und fügt flexible KoboldAI API Endpunkte, zusätzliche Formatunterstützung, Stable Diffusion Bilderzeugung, Sprache-zu-Text, Abwärtskompatibilität und eine wunderschöne Benutzeroberfläche mit persistenten Geschichten, Bearbeitungswerkzeugen, Speicherformaten, Speicher, Weltinformationen, Autorennotizen, Charakteren, Szenen und mehr hinzu, sowie alles, was KoboldAI und KoboldAI Lite zu bieten haben.

Funktionsliste

• Unterstützung für GGML- und GGUF-Modelle
• Bietet Unterstützung für mehrere Formate
• Funktion zur Bilderzeugung
• Sprache-zu-Text-Funktion
• Durchgängige Erzähl- und Bearbeitungswerkzeuge
• Speicherformat und Speicherfunktion
• Weltinformationen und Anmerkungen des Autors
• Charakter- und Szenenerstellung

Hilfe verwenden

Ablauf der Installation

1. Windows-Benutzer::
   • Download der neuesten koboldcpp.exe Version.
   • in Bewegung sein koboldcpp.exeDie grafische Benutzeroberfläche kann ohne Befehlszeilenargumente angezeigt werden.
   • Holen und laden Sie das GGUF-Modell.
2. Linux-Benutzer::
   • Laden Sie die vorkompilierten PyInstaller-Binärdateien herunter.
   • in Bewegung sein chmod +x koboldcpp Machen Sie das Dokument ausführbar.
   • in Bewegung sein . /koboldcpp Starten Sie die Software.
3. MacOS-Benutzer::
   • Binärdateien für ARM64 MacOS herunterladen.
   • Stellen Sie die Datei so ein, dass sie im Terminal ausführbar ist:chmod +x koboldcpp-mac-arm64.
   • in Bewegung sein . /koboldcpp-mac-arm64 Starten Sie die Software.

Richtlinien für die Verwendung

1. Modelle laden::
   • Laden Sie die GGUF-Modelldatei herunter.
   • Wählen Sie das Modell aus und laden Sie es in die Software.
2. Textgenerierung::
   • Wählen Sie die Voreinstellung und die GPU-Stufe.
   • Geben Sie die Textaufforderung ein und klicken Sie auf die Schaltfläche Erzeugen.
3. Bilderzeugung::
   • Wählen Sie das Modell für die Bilderzeugung.
   • Geben Sie einen beschreibenden Text ein und klicken Sie auf Bild generieren.
4. Sprache zu Text::
   • Laden Sie eine Audiodatei hoch oder nehmen Sie sie mit dem Mikrofon auf.
   • Klicken Sie auf die Schaltfläche Konvertieren, um das Textergebnis zu erhalten.
5. Editieren und Speichern::
   • Verwenden Sie die Bearbeitungswerkzeuge, um den erstellten Text oder das Bild zu ändern.
   • Speichern Sie Dateien lokal oder in der Cloud.

Erweiterte Einstellungen

• GPU-Beschleunigung: Verwendung --usecublas vielleicht --usevulkan Flagge zur Aktivierung der GPU-Beschleunigung.
• Größe des Kontexts: Verwendung --contextsize Erhöhen Sie die Kontextgröße.
• Kompatibilitätsmodus: Verwendung --noavx2 Flagge zur Aktivierung des nicht-AVX2-kompatiblen Modus.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>