Interface web de génération de texte : interface de chat basée sur un grand modèle de langage Gradio avec prise en charge de plusieurs services dorsaux.

Introduction générale

L'interface web de génération de texte est une interface web basée sur Gradio et conçue pour le Grand Modèle de Langage (LLM). Elle prend en charge une variété de backends de génération de texte, y compris Transformers, llama.cpp et ExLlamaV2. Les utilisateurs peuvent rapidement déployer et utiliser l'outil pour des tâches de génération de texte grâce à des étapes d'installation simples.

Liste des fonctions

• Prise en charge de plusieurs modèlesSupport de Transformers, llama.cpp, ExLlamaV2 et de nombreux autres backends de génération de texte.
• Formatage automatique de l'inviteLes modèles de Jinja2 permettent de formater automatiquement les conseils.
• Modes de discussion multiplesLes modes de discussion sont l'instruction, l'instruction par chat et le chat.
• Historique du chat: Permet de passer rapidement d'un dialogue à l'autre.
• Génération de texte libreGénération de texte libre dans les onglets par défaut/carnet de notes, sans tenir compte des tours de chat.
• Paramètres d'échantillonnage multiplesLes textes peuvent être générés à partir d'un grand nombre de paramètres d'échantillonnage et d'options de génération, ce qui permet un contrôle précis de la génération de texte.
• Changement de modèleLes modèles d'ordinateurs de bureau sont plus faciles à utiliser que les modèles d'ordinateurs de bureau : on passe facilement d'un modèle à l'autre dans l'interface sans redémarrer.
• Outil de mise au point de la LoRALoRA : Des outils simples de réglage fin de LoRA sont fournis.
• Soutien étenduLe logiciel est compatible avec un large éventail d'extensions intégrées et fournies par l'utilisateur.

Utiliser l'aide

Processus d'installation

1. Cloner ou télécharger le référentiel: :

   git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

2. Exécuter un script correspondant au système d'exploitation: :
   • Pour les utilisateurs de Linux : bash
./start_linux.sh

   • Pour les utilisateurs de Windows : cmd
start_windows.bat

   • Pour les utilisateurs de macOS : bash
./start_macos.sh

   • Pour les utilisateurs du WSL : bash
./start_wsl.bat

3. Sélectionner un fournisseur de GPUSélectionnez votre fournisseur de GPU : Suivez les invites pour sélectionner votre fournisseur de GPU.
4. accès au navigateurA la fin de l'installation, ouvrez le navigateur pour visiter le site suivant http://localhost:7860.

Lignes directrices pour l'utilisation

1. Interface de lancementAprès avoir exécuté le script de démarrage approprié, ouvrez votre navigateur et visitez le site Web de la Commission européenne. http://localhost:7860.
2. Sélectionner le modèleSélectionnez le modèle de génération de texte souhaité dans l'interface.
3. invite à la saisie: Saisissez votre mot clé dans le champ de saisie et sélectionnez les paramètres de génération.
4. Générer du texteCliquez sur le bouton Générer pour afficher le résultat du texte généré.
5. Mode de commutationMode d'instruction : Basculer entre les modes d'instruction, d'instruction par chat et de chat en fonction des besoins.
6. Voir l'historiqueHistorique : Le menu "Historique" permet de passer rapidement d'une conversation à l'autre.
7. Fonctionnalité étendueLes services d'assistance à la clientèle : Installer et activer les extensions nécessaires pour améliorer les fonctionnalités.

Fonctionnement détaillé

• Formatage automatique de l'inviteLes invites sont automatiquement formatées à l'aide du modèle Jinja2 pour s'assurer qu'elles sont conformes au modèle.
• Paramètres d'échantillonnage multiplesLes utilisateurs peuvent ajuster des paramètres tels que la température, la longueur maximale et les pénalités de répétition pour contrôler le style et la longueur du texte généré.
• Génération de texte libreDans les onglets par défaut/carnet de notes, les utilisateurs peuvent effectuer une génération de texte libre, non limitée aux tours de chat, adaptée aux tâches de génération de texte long.
• Mise au point de la LoRALes utilisateurs peuvent affiner le modèle à l'aide de l'outil LoRA intégré afin d'améliorer la génération de tâches spécifiques.
• Soutien étenduEn installant des extensions, les utilisateurs peuvent ajouter des fonctions supplémentaires telles que la synthèse vocale, la génération d'images, etc.