롱라이터: 위즈덤 스펙트럼은 매우 긴 텍스트를 생성하는 강력한 모델을 출시하여 단일 대화에서 10,000개 이상의 단어를 생성할 수 있도록 지원합니다.

일반 소개

LongWriter는 칭화대학교 데이터 마이닝 연구 그룹(THUDM)에서 개발한 강력한 장문 텍스트 생성 도구입니다. 이 도구는 고급 장문 언어 모델(LLM)을 기반으로 하며 10,000단어 이상의 긴 텍스트를 생성할 수 있으며, LongWriter의 핵심 모델로는 각각 GLM-4-9B와 Meta-Llama-3.1-8B 학습을 기반으로 하는 LongWriter-glm4-9b와 LongWriter-llama3.1-8b가 있습니다. . 이 모델들은 긴 텍스트 생성에 뛰어난 성능을 발휘하며 소설 창작, 학술 논문 작성, 상세 보고서 생성 등 긴 텍스트 생성이 필요한 다양한 애플리케이션 시나리오에 적합합니다. LongWriter는 오픈 소스일 뿐만 아니라 사용자가 빠르게 시작할 수 있도록 상세한 배포 및 사용 가이드도 제공합니다.

기능 목록

• 긴 텍스트 생성다양한 애플리케이션 시나리오를 위해 10,000단어 이상의 긴 텍스트를 생성할 수 있도록 지원합니다.
• 다중 모델 지원GLM-4-9B 및 Meta-Llama-3.1-8B 기반의 두 가지 모델이 제공되며 사용자는 필요에 따라 선택할 수 있습니다.
• 신속한 배포신속한 배포 및 사용을 지원하기 위해 자세한 배포 가이드와 샘플 코드를 제공합니다.
• 오픈 소스모든 코드와 모델은 오픈 소스이며 사용자가 자유롭게 다운로드하고 수정할 수 있습니다.
• 자동화된 데이터 구축자동화된 초장기 출력 데이터 구성을 지원하는 AgentWrite 도구를 제공합니다.

도움말 사용

설치 및 배포

1. 환경 준비파이썬 3.8 이상이 설치되어 있는지 확인하고 필요한 종속 라이브러리(예: transformers>=4.43.0)를 설치합니다.
2. 모델 다운로드: Hugging Face에서 필요한 모델(예: LongWriter-glm4-9b 또는 LongWriter-llama3.1-8b)을 다운로드합니다.
3. 종속성 설치: 다음 명령을 실행하여 필요한 Python 패키지를 설치합니다:

   pip install transformers torch

4. 모델 로드다음 코드를 사용하여 모델을 로드하고 추론을 수행합니다:

   from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
model = model.eval()
query = "Write a 10000-word China travel guide"
response, history = model.chat(tokenizer, query, history=[], max_new_tokens=32768, temperature=0.5)
print(response)

에이전트 작성 도구 사용

1. API 키 구성: inplan.py노래로 응답write.py파일을 사용하여 API 키를 구성합니다.
2. 운영 데이터 구축: 다음 명령을 순서대로 실행하여 최종 데이터를 생성합니다:

   python plan.py
python write.py

주요 기능

1. 긴 텍스트 생성: 생성할 텍스트의 제목을 입력하면 모델이 입력 내용을 바탕으로 10,000단어 이상의 장문의 텍스트를 생성합니다.
2. 모델 선택특정 요구 사항에 따라 적절한 모델(예: LongWriter-glm4-9b 또는 LongWriter-llama3.1-8b)을 선택합니다.
3. 매개변수화생성 매개변수(예: 온도, 최대 새 단어 수 등)를 조정하여 생성을 최적화합니다.

자세한 작동 지침

• 텍스트 생성입력 상자에 테마 또는 프롬프트 단어를 입력하고 생성 버튼을 클릭하면 모델이 자동으로 긴 텍스트를 생성합니다.
• 모델 교육제공된 학습 코드에 따라 모델을 학습시키기 위해 LongWriter-6k 데이터 세트와 다른 SFT 데이터를 혼합하여 다운로드하고 사용합니다.
• 배포 예시참조vllm_inference.py코드를 사용하여 매우 긴 텍스트 생성을 빠르게 배포하고 경험할 수 있습니다.