ModelScope Swift: uma infraestrutura leve para o ajuste fino e a implantação de modelos grandes com eficiência.

Introdução geral

O ModelScope Swift (MS-Swift) é uma infraestrutura leve e eficiente projetada para ajuste fino, raciocínio, avaliação e implantação de LLMs (Large LLMs) e MLLMs (Multimodal Large Models). A estrutura oferece suporte a mais de 400 LLMs e mais de 100 MLLMs, fornecendo um fluxo de trabalho completo, desde o treinamento do modelo, a avaliação até a aplicação. O MS-Swift não só oferece suporte à tecnologia PEFT (Parameter Efficient Fine-Tuning), mas também fornece uma biblioteca rica de adaptadores para oferecer suporte às técnicas de treinamento mais recentes, como NEFTune, LoRA+ e LLaMA-PRO. Para usuários não familiarizados com a aprendizagem profunda, o MS-Swift também oferece uma interface da Web baseada no Gradio para facilitar o controle do treinamento e da inferência.

Lista de funções

• Suporte para treinamento, inferência, avaliação e implementação de mais de 350 LLMs e mais de 100 MLLMs
• Fornece bibliotecas de adaptadores para as mais recentes tecnologias de treinamento, como PEFT, LoRA+, LLaMA-PRO e muito mais!
• Interface da Web baseada no Gradio para facilitar o controle do treinamento e da inferência
• Oferece suporte ao treinamento e à implementação de várias GPUs
• Oferece documentação detalhada e cursos de aprendizagem profunda
• Oferece suporte a uma ampla variedade de ambientes de hardware, incluindo CPUs, placas de vídeo da série RTX, A10/A100 e outras placas de computação
• Oferece suporte a vários métodos de treinamento, como ajuste fino de parâmetros completos, ajuste fino de LoRA, treinamento quantitativo, etc.
• Fornecer suporte a vários conjuntos de dados e modelos para diferentes tarefas de treinamento

Usando a Ajuda

Processo de instalação

O MS-Swift pode ser instalado das três maneiras a seguir:

1. Use o comando pip para instalar:

   # Instalar todos os recursos
   pip install 'ms-swift[all]' -U
   # Instalar apenas os recursos relacionados ao LLM
   pip install 'ms-swift[llm]' -U
   # Instala apenas os recursos relacionados ao AIGC
   pip install 'ms-swift[aigc]' -U
   # Instala somente as funções relacionadas ao adaptador
   pip install ms-swift -U
   

2. Instalação via código-fonte:

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '. [llm]'
   

3. Instale usando uma imagem do Docker.

Uso da interface da Web

O MS-Swift fornece uma interface da Web baseada no Gradio que os usuários podem iniciar com o seguinte comando:

SWIFT_UI_LANG=pt swift web-ui

A interface da Web é compatível com o treinamento e a implantação de várias GPUs, e os usuários podem controlar facilmente o processo de treinamento e inferência.

Treinamento e raciocínio

O MS-Swift oferece suporte a uma variedade de métodos de treinamento e inferência. Aqui estão alguns exemplos de comandos:

• Treinamento com uma única GPU:

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• Treinamento multi-GPU:

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_ type lora --output_dir output
  

• Raciocínio:

  CUDA_VISIBLE_DEVICES=0 swift infer ---model_type qwen1half-7b-chat
  

Documentação detalhada

O MS-Swift oferece ampla documentação e cursos de aprendizagem profunda, e os usuários podem acessar os seguintes links para obter mais informações:

• Documento em inglês
• Documento chinês