ModelScope Swift : une infrastructure légère pour affiner et déployer efficacement de grands modèles.

Introduction générale

ModelScope Swift (MS-Swift en abrégé) est une infrastructure légère et efficace conçue pour le réglage fin, le raisonnement, l'évaluation et le déploiement de grands LLM (LLM) et de grands modèles multimodaux (MLLM). MS-Swift prend en charge plus de 400 LLM et plus de 100 MLLM, fournissant un flux de travail complet de l'entraînement du modèle, de l'évaluation à l'application. MS-Swift prend non seulement en charge la technologie PEFT (Parameter Efficient Fine-Tuning), mais fournit également une riche bibliothèque d'adaptateurs pour prendre en charge les techniques d'entraînement les plus récentes, telles que NEFTune, LoRA+ et LLaMA-PRO. Pour les utilisateurs peu familiarisés avec l'apprentissage profond, MS-Swift fournit également une interface web basée sur Gradio pour faciliter le contrôle de l'entraînement et de l'inférence.

Liste des fonctions

• Soutien à la formation, à l'inférence, à l'évaluation et au déploiement de plus de 350 LLM et de plus de 100 MLLM
• Fournit des bibliothèques d'adaptateurs pour les dernières technologies de formation telles que PEFT, LoRA+, LLaMA-PRO et plus encore !
• Interface web basée sur Gradio pour un contrôle facile de l'entraînement et de l'inférence
• Prise en charge de la formation et du déploiement multi-GPU
• Fournit une documentation détaillée et des cours d'apprentissage approfondi
• Prise en charge d'un large éventail d'environnements matériels, y compris les CPU, les cartes graphiques de la série RTX, les cartes A10/A100 et d'autres cartes informatiques.
• Prise en charge d'une variété de méthodes de formation, telles que le réglage fin de tous les paramètres, le réglage fin LoRA, la formation quantitative, etc.
• Prise en charge de plusieurs ensembles de données et modèles pour différentes tâches de formation

Utiliser l'aide

Processus d'installation

MS-Swift peut être installé de trois manières différentes :

1. Utilisez la commande pip pour l'installer :

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U
   

2. Installation via le code source :

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'
   

3. Installer à l'aide d'une image Docker.

Utilisation de l'interface Web

MS-Swift fournit une interface web basée sur Gradio que les utilisateurs peuvent lancer avec la commande suivante :

SWIFT_UI_LANG=en swift web-ui

L'interface web prend en charge l'entraînement et le déploiement multi-GPU, et les utilisateurs peuvent facilement contrôler le processus d'entraînement et d'inférence.

Formation et raisonnement

MS-Swift prend en charge une variété de méthodes de formation et d'inférence, dont voici quelques exemples de commandes :

• Entraînement à l'aide d'un seul GPU :

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• Formation multi-GPU :

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output
  

• Raisonnement :

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat
  

Documentation détaillée

MS-Swift propose une documentation complète et des cours sur l'apprentissage profond. Les utilisateurs peuvent consulter les liens suivants pour plus d'informations :

• Document en anglais
• Document en chinois