ModelScope Swift: una infraestructura ligera para ajustar y desplegar eficazmente modelos de gran tamaño.

Introducción general

ModelScope Swift (abreviado MS-Swift) es una infraestructura ligera y eficaz diseñada para el ajuste fino, el razonamiento, la evaluación y el despliegue de grandes LLM (LLM) y grandes modelos multimodales (MLLM). MS-Swift no solo es compatible con la tecnología PEFT (Parameter Efficient Fine-Tuning), sino que también proporciona una amplia biblioteca de adaptadores compatibles con las últimas técnicas de formación, como NEFTune, LoRA+ y LLaMA-PRO. Para los usuarios que no estén familiarizados con el aprendizaje profundo, MS-Swift también proporciona una interfaz web basada en Gradio para controlar fácilmente el entrenamiento y la inferencia.

Lista de funciones

• Apoyo a la formación, inferencia, evaluación y despliegue de más de 350 LLM y más de 100 MLLM.
• Proporciona bibliotecas de adaptadores para las últimas tecnologías de formación, como PEFT, LoRA+, LLaMA-PRO y muchas más.
• Interfaz web basada en Gradio para controlar fácilmente la formación y la inferencia
• Admite formación y despliegue multi-GPU
• Proporciona documentación detallada y cursos de aprendizaje en profundidad
• Compatible con una amplia gama de entornos de hardware, incluidas CPU, tarjetas gráficas de la serie RTX, A10/A100 y otras tarjetas informáticas.
• Admite diversos métodos de entrenamiento, como el ajuste fino de parámetros completos, el ajuste fino LoRA, el entrenamiento cuantitativo, etc.
• Admite múltiples conjuntos de datos y modelos para diferentes tareas de formación

Utilizar la ayuda

Proceso de instalación

MS-Swift puede instalarse de las tres formas siguientes:

1. Utilice el comando pip para instalar:

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U
   

2. Instalación mediante código fuente:

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'
   

3. Instalar utilizando una imagen Docker.

Uso de la Interfaz Web

MS-Swift proporciona una interfaz web basada en Gradio que los usuarios pueden iniciar con el siguiente comando:

SWIFT_UI_LANG=en swift web-ui

La interfaz web admite la formación y el despliegue multi-GPU, y los usuarios pueden controlar fácilmente el proceso de formación e inferencia.

Formación y razonamiento

MS-Swift soporta una variedad de métodos de entrenamiento e inferencia, aquí hay algunos comandos de ejemplo:

• Entrenamiento con una sola GPU:

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• Entrenamiento multi-GPU:

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output
  

• Razonamiento:

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat
  

Documentación detallada

MS-Swift proporciona amplia documentación y cursos de aprendizaje profundo, y los usuarios pueden visitar los siguientes enlaces para obtener más información:

• Documento en inglés
• Documento chino