LongWriter: Wisdom Spectrum lanzó un potente modelo de generación de textos ultralargos, que permite generar más de 10.000 palabras en una sola conversación.

Introducción general

LongWriter es una potente herramienta de generación de textos largos desarrollada por el Grupo de Investigación en Minería de Datos de la Universidad de Tsinghua (THUDM). La herramienta se basa en el avanzado Modelo de Lenguaje Contextual Largo (LLM) y es capaz de generar textos largos de más de 10.000 palabras. Los modelos centrales de LongWriter son LongWriter-glm4-9b y LongWriter-llama3.1-8b, que se basan en el entrenamiento GLM-4-9B y Meta-Llama-3.1-8B, respectivamente. . Estos modelos tienen un buen rendimiento en la generación de textos largos y son adecuados para diversos escenarios de aplicación que requieren la generación de textos de gran tamaño, como la creación de novelas, la redacción de artículos académicos y la generación de informes detallados, etc. LongWriter no sólo es de código abierto, sino que también proporciona una guía detallada de despliegue y uso para facilitar a los usuarios una rápida puesta en marcha.

Lista de funciones

• Generación de textos largos: Soporte para generar textos largos de más de 10.000 palabras para una amplia gama de escenarios de aplicación.
• Compatibilidad con varios modelos: Se proporcionan dos modelos basados en GLM-4-9B y Meta-Llama-3.1-8B para que los usuarios puedan elegir según sus necesidades.
• Despliegue rápido: Proporciona guías detalladas de implantación y ejemplos de código para facilitar la implantación y el uso rápidos.
• código abiertoTodos los códigos y modelos son de código abierto y pueden ser descargados y modificados libremente por los usuarios.
• Creación automatizada de datosHerramientas AgentWrite : Proporcionan herramientas AgentWrite para apoyar la construcción automatizada de datos de salida ultralargos.

Utilizar la ayuda

Instalación y despliegue

1. Preparación medioambiental: Asegúrese de que Python 3.8 o superior está instalado e instale las librerías de dependencia necesarias, por ejemplo transformers>=4.43.0.
2. Descargar modelosDescarga los modelos necesarios de Hugging Face, como LongWriter-glm4-9b o LongWriter-llama3.1-8b.
3. Instalación de dependenciasEjecute el siguiente comando para instalar los paquetes de Python necesarios:

   pip install transformers torch

4. Modelos de cargaUtiliza el siguiente código para cargar el modelo y realizar la inferencia:

   from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("THUDM/LongWriter-glm4-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/LongWriter-glm4-9b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
model = model.eval()
query = "Write a 10000-word China travel guide"
response, history = model.chat(tokenizer, query, history=[], max_new_tokens=32768, temperature=0.5)
print(response)

Uso de la herramienta AgentWrite

1. Configuración de la clave API: enplan.pyresponder cantandowrite.pypara configurar su clave API.
2. Construcción de datos operativosEjecute los siguientes comandos en secuencia para generar los datos finales:

   python plan.py
python write.py

Funciones principales

1. Generación de textos largos: Introduzca el asunto del texto que desea generar y el modelo generará textos largos de más de 10.000 palabras basándose en la entrada.
2. Selección de modelosSeleccione el modelo adecuado (por ejemplo, LongWriter-glm4-9b o LongWriter-llama3.1-8b) en función de sus necesidades específicas.
3. parametrización: Optimiza la generación ajustando los parámetros de generación (por ejemplo, la temperatura, el número máximo de palabras nuevas, etc.).

Instrucciones de uso detalladas

• Generación de textoIntroduzca un tema o una palabra clave en el cuadro de entrada, pulse el botón Generar y el modelo generará automáticamente un texto largo.
• formación de modelosDescarga y utiliza una mezcla del conjunto de datos LongWriter-6k y otros datos SFT para entrenar el modelo de acuerdo con el código de entrenamiento proporcionado.
• Ejemplo de implantación: Referenciavllm_inference.pyen el archivo para desplegar rápidamente y experimentar la generación de texto ultralargo.