LongWriter: Wisdom Spectrum запустила мощную модель для создания сверхдлинных текстов, поддерживающую создание 10 000+ слов за один разговор.

Общее введение

LongWriter - это мощный инструмент для создания длинных текстов, разработанный исследовательской группой Tsinghua University Data Mining Research Group (THUDM). Инструмент основан на передовой модели длинного контекстуального языка (LLM) и способен генерировать длинные тексты объемом более 10 000 слов. Основные модели LongWriter включают LongWriter-glm4-9b и LongWriter-llama3.1-8b, которые основаны на обучении GLM-4-9B и Meta-Llama-3.1-8B, соответственно. . Эти модели отлично справляются с генерацией длинных текстов и подходят для различных сценариев применения, требующих генерации больших текстов, таких как создание романов, написание научных статей, составление подробных отчетов и т. д. LongWriter не только имеет открытый исходный код, но и предоставляет подробное руководство по развертыванию и использованию, чтобы пользователи могли быстро приступить к работе.

Список функций

• Генерация длинных текстов: Поддержка генерации длинных текстов объемом более 10 000 слов для широкого спектра сценариев применения.
• Поддержка нескольких моделей: Предоставлены две модели на основе GLM-4-9B и Meta-Llama-3.1-8B, и пользователи могут выбрать их в соответствии со своими потребностями.
• Быстрое развертывание: Предоставляет подробные руководства по развертыванию и примеры кода для поддержки быстрого развертывания и использования.
• открытый исходный код: Весь код и модели имеют открытый исходный код и могут быть свободно загружены и изменены пользователями.
• Автоматизированное построение данных: Предоставление инструментов AgentWrite для поддержки автоматизированного построения сверхдлинных выходных данных.

Использование помощи

Установка и развертывание

1. Подготовка к защите окружающей среды: Убедитесь, что установлен Python 3.8 или выше, и установите необходимые библиотеки зависимостей, например transformers>=4.43.0.
2. Скачать модели: Загрузите необходимые модели с сайта Hugging Face, например LongWriter-glm4-9b или LongWriter-llama3.1-8b.
3. Установка зависимостей: Выполните следующую команду, чтобы установить необходимые пакеты Python:

   pip install transformers torch

4. Модели для погрузки: Используйте следующий код для загрузки модели и выполнения вывода:

   from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
model = model.eval()
query = "Write a 10000-word China travel guide"
response, history = model.chat(tokenizer, query, history=[], max_new_tokens=32768, temperature=0.5)
print(response)

Использование инструмента AgentWrite

1. Настройка ключа API: вplan.pyответить пениемwrite.pyфайл для настройки ключа API.
2. Построение оперативных данных: Последовательно выполните следующие команды, чтобы получить итоговые данные:

   python plan.py
python write.py

Основные функции

1. Генерация длинных текстов: Введите тему текста, который необходимо сгенерировать, и модель сгенерирует длинные тексты объемом более 10 000 слов на основе полученных данных.
2. Выбор модели: Выберите подходящую модель (например, LongWriter-glm4-9b или LongWriter-llama3.1-8b) в соответствии с конкретными потребностями.
3. параметризация: Оптимизируйте генерацию, настраивая параметры генерации (например, температуру, максимальное количество новых слов и т.д.).

Подробное руководство по эксплуатации

• Генерация текста: Введите тему или слово подсказки в поле ввода, нажмите кнопку Generate, и модель автоматически сгенерирует длинный текст.
• обучение модели: Загрузите и используйте смесь набора данных LongWriter-6k и других данных SFT для обучения модели в соответствии с предоставленным кодом обучения.
• Пример развертывания: Справочникvllm_inference.pyкод в файле для быстрого развертывания и сверхдлинной генерации текста.