综合介绍
Text generation web UI 是一个基于 Gradio 的网页用户界面，专为大语言模型（LLM）设计。它支持多种文本生成后端，包括 Transformers、llama.cpp 和 ExLlamaV2 等。用户可以通过简单的安装步骤，快速部署并使用该工具进行文本生成任务。
功能列表
- 多模型支持：支持 Transformers、llama.cpp、ExLlamaV2 等多种文本生成后端。
- 自动提示格式化：使用 Jinja2 模板自动格式化提示。
- 多种聊天模式：提供 instruct、chat-instruct 和 chat 三种聊天模式。
- 历史聊天记录：快速切换不同的对话。
- 自由文本生成：在默认/笔记本标签中进行自由文本生成，不受聊天轮次限制。
- 多种采样参数：提供多种采样参数和生成选项，便于精细控制文本生成。
- 模型切换：无需重启即可在界面中轻松切换不同模型。
- LoRA 微调工具：提供简单的 LoRA 微调工具。
- 扩展支持：支持多种内置和用户贡献的扩展。
使用帮助
安装流程
- 克隆或下载仓库：
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
- 运行匹配操作系统的脚本：
- 对于 Linux 用户：
bash
./start_linux.sh
- 对于 Windows 用户：
cmd
start_windows.bat
- 对于 macOS 用户：
bash
./start_macos.sh
- 对于 WSL 用户：
bash
./start_wsl.bat
- 对于 Linux 用户：
- 选择 GPU 供应商：根据提示选择您的 GPU 供应商。
- 浏览器访问：安装结束后，打开浏览器访问
http://localhost:7860。
使用指南
- 启动界面：运行相应的启动脚本后，打开浏览器访问
http://localhost:7860。 - 选择模型：在界面中选择所需的文本生成模型。
- 输入提示：在输入框中输入您的提示词，选择生成参数。
- 生成文本：点击生成按钮，查看生成的文本结果。
- 切换模式：根据需要在 instruct、chat-instruct 和 chat 模式之间切换。
- 查看历史记录：使用“历史聊天记录”菜单快速切换不同对话。
- 扩展功能：安装并启用所需的扩展，增强功能。
详细功能操作
- 自动提示格式化：在输入提示词时，系统会自动使用 Jinja2 模板进行格式化，确保提示词符合模型要求。
- 多种采样参数：用户可以调整温度、最大长度、重复惩罚等参数，控制生成文本的风格和长度。
- 自由文本生成：在默认/笔记本标签中，用户可以进行自由文本生成，不受聊天轮次限制，适合长文本生成任务。
- LoRA 微调：使用内置的 LoRA 微调工具，用户可以对模型进行微调，提升特定任务的生成效果。
- 扩展支持：通过安装扩展，用户可以添加更多功能，如语音合成、图像生成等。
