KoboldCpp : Exécuter facilement des modèles GGUF en référence à KoboldAI, avec API et GUI

Introduction générale

KoboldCpp est un logiciel de génération de texte facile à utiliser pour les modèles GGML et GGUF, inspiré de l'original KoboldAI. llama.cpp et ajoute des points d'extrémité d'API KoboldAI flexibles, une prise en charge de formats supplémentaires, la génération d'images Stable Diffusion, la synthèse vocale, la rétrocompatibilité et une superbe interface utilisateur avec des histoires persistantes, des outils d'édition, des formats de sauvegarde, une mémoire, des informations sur le monde, des notes d'auteur, des personnages, des scènes et bien plus encore, ainsi que tout ce que les logiciels KoboldAI et KoboldAI Lite.

Liste des fonctions

• Prise en charge des modèles GGML et GGUF
• Prise en charge de plusieurs formats
• Fonction de génération d'images
• Fonction de conversion de la parole en texte
• Outils de narration et d'édition persistants
• Format d'enregistrement et fonction de mémoire
• Informations sur le monde et note de l'auteur
• Création de personnages et de scènes

Utiliser l'aide

Processus d'installation

1. Utilisateur Windows: :
   • Télécharger la dernière version koboldcpp.exe Version.
   • être en mouvement koboldcpp.exeL'interface graphique peut être affichée sans arguments de ligne de commande.
   • Obtenir et charger le modèle GGUF.
2. Utilisateurs de Linux: :
   • Téléchargez les binaires précompilés de PyInstaller.
   • être en mouvement chmod +x koboldcpp Rendre le document exécutable.
   • être en mouvement ./koboldcpp Lancer le logiciel.
3. Utilisateurs de MacOS: :
   • Télécharger les binaires pour ARM64 MacOS.
   • Configurer le fichier pour qu'il soit exécutable dans le terminal :chmod +x koboldcpp-mac-arm64.
   • être en mouvement ./koboldcpp-mac-arm64 Lancer le logiciel.

Lignes directrices pour l'utilisation

1. Modèles de chargement: :
   • Télécharger le fichier modèle GGUF.
   • Sélectionner et charger le modèle dans le logiciel.
2. Génération de texte: :
   • Sélectionnez le préréglage et le niveau de GPU.
   • Saisissez l'invite de texte et cliquez sur le bouton Générer.
3. Génération d'images: :
   • Sélectionnez le modèle de génération d'images.
   • Saisissez un texte descriptif et cliquez sur Générer l'image.
4. Parole au texte: :
   • Téléchargez un fichier audio ou enregistrez à l'aide du microphone.
   • Cliquez sur le bouton Convertir pour obtenir le résultat du texte.
5. Édition et enregistrement: :
   • Utiliser les outils d'édition pour modifier le texte ou l'image générés.
   • Enregistrez vos fichiers localement ou dans le nuage.

Paramètres avancés

• Accélération par le GPU: Utilisation --usecublas peut-être --usevulkan Indicateur permettant d'activer l'accélération GPU.
• Taille du contexte: Utilisation --contextsize Augmenter la taille du contexte.
• mode de compatibilité: Utilisation --noavx2 Indicateur permettant d'activer le mode de compatibilité non-AVX2.