LongWriter：ウィズダム・スペクトラムは、超長文を生成するための強力なモデルを発表し、1回の会話で10,000語以上の生成に対応。

はじめに

LongWriter は、清華大学データマイニング研究グループ (THUDM) によって開発された強力な長文生成ツールである。LongWriterのコアモデルには、LongWriter-glm4-9bとLongWriter-llama3.1-8bがあり、それぞれGLM-4-9BとMeta-Llama-3.1-8Bのトレーニングに基づいている。.これらのモデルは、長いテキストの生成において優れた性能を発揮し、小説の作成、学術論文の作成、詳細なレポートの作成など、大きなテキストの生成を必要とする様々なアプリケーションシナリオに適しています。LongWriterはオープンソースであるだけでなく、ユーザがすぐに使い始められるように、詳細な導入ガイドと使用ガイドも提供しています。

機能一覧

• 長文生成10,000語を超える長文の生成にも対応。
• マルチモデル対応GLM-4-9BとMeta-Llama-3.1-8Bをベースにした2つのモデルが用意されており、ユーザーは必要に応じて選択することができます。
• 迅速な展開詳細なデプロイガイドとサンプルコードを提供し、迅速なデプロイと使用をサポートします。
• オープンソースすべてのコードとモデルはオープンソースであり、ユーザーが自由にダウンロードして変更することができます。
• 自動化されたデータ構築自動化された超ロング出力データ構築をサポートするAgentWriteツールを提供。

ヘルプの使用

インストールと展開

1. 環境準備Python 3.8以上がインストールされていることを確認し、必要な依存ライブラリをインストールする。
2. ダウンロードモデルHuggingFaceから必要なモデル（LongWriter-glm4-9bやLongWriter-llama3.1-8bなど）をダウンロードしてください。
3. 依存関係のインストール以下のコマンドを実行して、必要なPythonパッケージをインストールしてください：

   pip install transformers torch

4. 積載モデル以下のコードを使ってモデルをロードし、推論を実行します：

   from transformers import AutoTokenizer, AutoModelForCausalLM
インポート torch
tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map= "auto")
model = model.eval()
query = "10000語の中国旅行ガイドを書く"
response, history = model.chat(tokeniser, query, history=[], max_new_tokens=32768, temperature=0.5)
print(response)

AgentWriteツールの使用

1. APIキーの設定でplan.py歌で応えるwrite.pyファイルでAPIキーを設定してください。
2. 運用データ構築以下のコマンドを順番に実行し、最終データを作成する：

   python plan.py
python write.py

主な機能

1. 長文生成生成する文章の主題を入力すると、入力された文章をもとに1万語以上の長文を生成します。
2. モデルの選択LongWriter-glm4-9bやLongWriter-llama3.1-8bなど）。
3. パラメタリゼーション: 生成パラメータ（温度、最大新単語数など）を調整することにより、生成を最適化する。

詳しい取扱説明書

• テキスト生成入力ボックスにテーマやプロンプトの単語を入力し、生成ボタンをクリックすると、モデルが自動的に長いテキストを生成します。
• モデルトレーニングLongWriter-6kデータセットとその他のSFTデータをダウンロードし、提供されたトレーニングコードに従ってモデルをトレーニングします。
• 配備例参考vllm_inference.pyのコードをファイルに追加することで、素早く展開し、超長文のテキスト生成を体験することができる。