Веб-интерфейс для генерации текста: чат-интерфейс на основе большой языковой модели Gradio с поддержкой нескольких внутренних сервисов

Общее введение

Веб-интерфейс для генерации текста - это веб-интерфейс на основе Gradio, разработанный для Большой языковой модели (LLM). Он поддерживает различные бэкенды генерации текста, включая Transformers, llama.cpp и ExLlamaV2. Пользователи могут быстро развернуть и использовать инструмент для задач генерации текста с помощью простых шагов установки.

Список функций

• Поддержка нескольких моделей: Поддержка Transformers, llama.cpp, ExLlamaV2 и многих других бэкендов для генерации текста.
• Автоматическое форматирование подсказок: Используйте шаблоны Jinja2 для автоматического форматирования советов.
• Несколько режимов чатаРежимы чата: инструктаж, чат-инструктаж и чат.
• История чата: Быстрое переключение между различными диалогами.
• Генерация свободного текста: Свободная генерация текста на вкладках по умолчанию/в записной книжке, независимо от раундов чата.
• Несколько параметров отбора проб: Широкий диапазон параметров выборки и опций генерации позволяет точно контролировать процесс создания текста.
• Переключение моделей: Легкое переключение между моделями в интерфейсе без перезагрузки.
• Инструмент тонкой настройки LoRA: Предоставляются простые инструменты тонкой настройки LoRA.
• Расширенная поддержка: Поддерживает широкий спектр встроенных и пользовательских расширений.

Использование помощи

Процесс установки

1. Клонируйте или загрузите репозиторий::

   git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

2. Запустите сценарий, соответствующий операционной системе::
   • Для пользователей Linux: bash
./start_linux.sh

   • Для пользователей Windows: cmd
start_windows.bat

   • Для пользователей macOS: bash
./start_macos.sh

   • Для пользователей WSL: bash
./start_wsl.bat

3. Выберите поставщика графического процессора: Следуйте подсказкам, чтобы выбрать производителя GPU.
4. доступ к браузеру: По окончании установки откройте браузер, чтобы посетить http://localhost:7860.

Руководство по использованию

1. Интерфейс запуска: После запуска соответствующего сценария запуска откройте браузер и перейдите на страницу http://localhost:7860.
2. Выберите модель: Выберите нужную модель генерации текста в интерфейсе.
3. подсказка ввода: Введите слово реплики в поле ввода и выберите параметры генерации.
4. Создать текст: Нажмите на кнопку Generate, чтобы просмотреть результат создания текста.
5. Режим переключения: Переключение между режимами инструктажа, чата-инструктажа и чата по мере необходимости.
6. Посмотреть историю: Используйте меню "История" для быстрого переключения между разговорами.
7. Расширенная функциональность: Установите и включите необходимые расширения для расширения функциональности.

Детальное управление функциями

• Автоматическое форматирование подсказок: Когда вводятся подсказки, они автоматически форматируются с помощью шаблона Jinja2, чтобы обеспечить их соответствие модели.
• Несколько параметров отбора проб: Пользователи могут настраивать такие параметры, как температура, максимальная длина и штрафы за повторы, чтобы контролировать стиль и длину генерируемого текста.
• Генерация свободного текста: На вкладках "По умолчанию" и "Записная книжка" пользователи могут выполнять свободную генерацию текста, не ограничиваясь раундами чата, что подходит для задач генерации длинных текстов.
• Тонкая настройка LoRA: Используя встроенный инструмент тонкой настройки LoRA, пользователи могут точно настроить модель для улучшения генерации конкретных задач.
• Расширенная поддержка: Установив расширения, пользователи могут добавить дополнительные функции, такие как синтез речи, генерация изображений и т.д.