Interfaz web de generación de texto: interfaz de chat basada en modelos lingüísticos de gran tamaño de Gradio y compatible con varios servicios backend.

Introducción general

La interfaz de usuario web de generación de texto es una interfaz de usuario web basada en Gradio diseñada para el Large Language Model (LLM). Es compatible con diversos backends de generación de texto, como Transformers, llama.cpp y ExLlamaV2. Los usuarios pueden desplegar y utilizar rápidamente la herramienta para tareas de generación de texto con sencillos pasos de instalación.

Lista de funciones

• Compatibilidad con varios modelosSoporta Transformers, llama.cpp, ExLlamaV2 y muchos otros backends de generación de texto.
• Formateo automático de avisos: Utiliza plantillas Jinja2 para dar formato a los consejos automáticamente.
• Múltiples modos de chatLos modos de chat son instruir, chat-instruir y chat.
• Historia del chat: Cambia rápidamente entre diferentes diálogos.
• Generación de texto libre: Generación de texto libre en pestañas por defecto/notebook, independientemente de las rondas de chat.
• Múltiples parámetros de muestreoControl de la generación de texto : Se proporciona una amplia gama de parámetros de muestreo y opciones de generación para un control preciso de la generación de texto.
• Cambio de modelo: Cambia fácilmente de modelo en la interfaz sin reiniciar.
• Herramienta de ajuste LoRASe proporcionan herramientas sencillas de ajuste fino de LoRA.
• Asistencia ampliada: Admite una amplia gama de extensiones incorporadas y aportadas por los usuarios.

Utilizar la ayuda

Proceso de instalación

1. Clonar o descargar el repositorio::

   git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

2. Ejecutar un script que coincida con el sistema operativo::
   • Para usuarios de Linux: bash
./start_linux.sh

   • Para usuarios de Windows: cmd
start_windows.bat

   • Para usuarios de macOS: bash
./start_macos.sh

   • Para usuarios de WSL: bash
./start_wsl.bat

3. Seleccionar proveedor de GPUSiga las instrucciones para seleccionar su proveedor de GPU.
4. acceso al navegadorAl final de la instalación, abra el navegador para visitar http://localhost:7860.

Normas de uso

1. Interfaz de lanzamientoDespués de ejecutar el script de inicio correspondiente, abra su navegador y visite la página http://localhost:7860.
2. Seleccionar modelo: Seleccione el modelo de generación de texto deseado en la interfaz.
3. pregunta de entradaIntroduzca la palabra de referencia en la casilla de entrada y seleccione los parámetros de generación.
4. Generar textoHaga clic en el botón Generar para ver el resultado del texto generado.
5. Modo de conmutación: Cambia entre los modos de instrucción, chat-instrucción y chat según sea necesario.
6. Ver historial: Utiliza el menú "Historial" para pasar rápidamente de una conversación a otra.
7. Funciones ampliadasInstale y active las extensiones necesarias para mejorar la funcionalidad.

Funcionamiento detallado

• Formateo automático de avisosCuando se introducen mensajes, se formatean automáticamente utilizando la plantilla Jinja2 para garantizar que se ajustan al modelo.
• Múltiples parámetros de muestreoLos usuarios pueden ajustar parámetros como la temperatura, la longitud máxima y las penalizaciones por repetición para controlar el estilo y la longitud del texto generado.
• Generación de texto libre: En la pestaña Por defecto/Bloc de notas, los usuarios pueden realizar la generación de texto libre sin limitaciones en las rondas de chat, adecuado para tareas de generación de textos largos.
• Ajuste de LoRAEl modelo LoRA: mediante la herramienta de ajuste LoRA integrada, los usuarios pueden ajustar el modelo para mejorar la generación de tareas específicas.
• Asistencia ampliada: Mediante la instalación de extensiones, los usuarios pueden añadir más funciones, como la síntesis de voz, la generación de imágenes, etc.