LongWriter：智谱推出生成超长文本的强大模型，支持一次对话生成10000+字

Allgemeine Einführung

LongWriter是由清华大学数据挖掘研究组（THUDM）开发的一款强大的长文本生成工具。该工具基于先进的长上下文语言模型（LLM），能够生成超过10000字的长文本。LongWriter的核心模型包括LongWriter-glm4-9b和LongWriter-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B训练。这些模型在生成长文本时表现出色，适用于各种需要生成大段文字的应用场景，如小说创作、学术论文撰写和详细报告生成等。LongWriter不仅开源，还提供了详细的部署和使用指南，方便用户快速上手。

Funktionsliste

• 长文本生成：支持生成超过10000字的长文本，适用于多种应用场景。
• Unterstützung mehrerer Modelle：提供基于GLM-4-9B和Meta-Llama-3.1-8B的两种模型，用户可根据需求选择。
• Schneller Einsatz：提供详细的部署指南和示例代码，支持快速部署和使用。
• offene Quelle：所有代码和模型均开源，用户可以自由下载和修改。
• 自动化数据构建：提供AgentWrite工具，支持自动化超长输出数据构建。

Hilfe verwenden

Installation und Einsatz

1. Vorbereitung der Umwelt：确保安装了Python 3.8或以上版本，并安装必要的依赖库，如transformers>=4.43.0。
2. Modelle herunterladen：从Hugging Face下载所需的模型，如LongWriter-glm4-9b或LongWriter-llama3.1-8b。
3. Installation von Abhängigkeiten：运行以下命令安装所需的Python包：

   pip install transformers torch

4. Modelle laden：使用以下代码加载模型并进行推理：

   from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
model = model.eval()
query = "Write a 10000-word China travel guide"
response, history = model.chat(tokenizer, query, history=[], max_new_tokens=32768, temperature=0.5)
print(response)

使用AgentWrite工具

1. Konfigurieren des API-Schlüssels: inplan.pyim Gesang antwortenwrite.py文件中配置您的API密钥。
2. 运行数据构建：依次运行以下命令生成最终数据：

   python plan.py
python write.py

Hauptfunktionen

1. 长文本生成：输入需要生成的文本主题，模型将根据输入生成超过10000字的长文本。
2. Modellauswahl：根据具体需求选择合适的模型（如LongWriter-glm4-9b或LongWriter-llama3.1-8b）。
3. Parametrisierung：通过调整生成参数（如温度、最大新词数等）来优化生成效果。

Ausführliche Betriebsanleitung

• Textgenerierung：在输入框中输入主题或提示词，点击生成按钮，模型将自动生成长文本。
• Modellschulung：下载并混合使用LongWriter-6k数据集和其他SFT数据，按照提供的训练代码进行模型训练。
• 部署示例：参考vllm_inference.py文件中的代码，快速部署并体验超长文本生成。

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>