Introdução geral
A interface de usuário da Web de geração de texto é uma interface de usuário da Web baseada no Gradio, projetada para o LLM (Large Language Model). Ela é compatível com uma variedade de back-ends de geração de texto, incluindo Transformers, llama.cpp e ExLlamaV2. Os usuários podem implementar e usar rapidamente a ferramenta para tarefas de geração de texto com etapas simples de instalação.
Lista de funções
- Suporte a vários modelosSuporte a Transformers, llama.cpp, ExLlamaV2 e muitos outros backends de geração de texto.
- Formatação automática do promptUse os modelos Jinja2 para formatar as dicas automaticamente.
- Vários modos de bate-papoOs modos de bate-papo são instruir, conversar-instruir e conversar.
- Histórico do bate-papoAlternar rapidamente entre diferentes diálogos.
- Geração de texto livreGeração de texto livre em guias padrão/notebook, independentemente das rodadas de bate-papo.
- Vários parâmetros de amostragemOpções de geração e parâmetros de amostragem: Uma ampla gama de parâmetros de amostragem e opções de geração é fornecida para o controle preciso da geração de texto.
- Mudança de modeloInterface de usuário: Alterne facilmente entre os modelos na interface sem reinicializar.
- Ferramenta de ajuste fino do LoRALoRA: fornece ferramentas simples de ajuste fino do LoRA.
- Suporte estendidoSuporte a uma ampla variedade de extensões incorporadas e distribuídas pelo usuário.
Usando a Ajuda
Processo de instalação
- Clonar ou fazer download do repositório::
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
- Execute um script que corresponda ao sistema operacional::
- Para usuários do Linux:
bash
. /start_linux.sh
- Para usuários do Windows:
cmd
start_windows.bat
- Para usuários do macOS:
bash
. /start_macos.sh
- Para usuários de WSL:
bash
. /start_wsl.bat
- Para usuários do Linux:
- Selecione o fornecedor da GPUSiga as instruções para selecionar o fornecedor da GPU.
- acesso ao navegadorNo final da instalação, abra o navegador para visitar
http://localhost:7860.
Diretrizes para uso
- Interface de lançamentoApós executar o script de inicialização apropriado, abra o navegador e visite o site
http://localhost:7860. - Selecione o modeloModelo de geração de texto: Selecione o modelo de geração de texto desejado na interface.
- prompt de entradaDigite sua palavra-chave na caixa de entrada e selecione os parâmetros de geração.
- Gerar textoClique no botão Generate (Gerar) para visualizar o resultado do texto gerado.
- Modo de comutaçãoModo de instrução: Alterne entre os modos de instrução, instrução de bate-papo e bate-papo, conforme necessário.
- Ver históricoHistórico: Use o menu "Histórico" para alternar rapidamente entre as conversas.
- Funcionalidade estendidaInstalação e ativação das extensões necessárias para aumentar a funcionalidade.
Operação detalhada da função
- Formatação automática do promptQuando os prompts são inseridos, eles são formatados automaticamente usando o modelo Jinja2 para garantir que estejam em conformidade com o modelo.
- Vários parâmetros de amostragemOs usuários podem ajustar parâmetros como temperatura, comprimento máximo e penalidades de repetição para controlar o estilo e o comprimento do texto gerado.
- Geração de texto livreNa guia Default/Notebook (Padrão/Notebook), os usuários podem executar a geração de texto livre sem nenhuma limitação nas rodadas de bate-papo, o que é adequado para tarefas de geração de texto longo.
- Ajuste fino do LoRAFerramenta de ajuste fino LoRA: Usando a ferramenta de ajuste fino LoRA integrada, os usuários podem ajustar o modelo para aprimorar a geração de tarefas específicas.
- Suporte estendidoInstalação de extensões: Ao instalar extensões, os usuários podem adicionar mais recursos, como síntese de fala, geração de imagens, etc.
