ModelScope Swift：大規模モデルを効率的に微調整し、デプロイするための軽量インフラストラクチャ。

はじめに

ModelScope Swift（略称MS-Swift）は、大規模LLM（Large LLMs）とMLLM（Multimodal Large Models）の微調整、推論、評価、展開のために設計された効率的な軽量インフラストラクチャです。MS-Swiftは、PEFT（Parameter Efficient Fine-Tuning）技術をサポートするだけでなく、NEFTune、LoRA+、LLaMA-PROなどの最新のトレーニング技術をサポートするアダプタの豊富なライブラリも提供しています。ディープラーニングに不慣れなユーザーのために、MS-SwiftはGradioベースのウェブインターフェースも提供し、トレーニングや推論を簡単にコントロールできる。

機能一覧

• 350人以上のLLMと100人以上のMLLMのトレーニング、推論、評価、配備をサポートする。
• PEFT、LoRA+、LLaMA-PROなど、最新のトレーニング技術に対応したアダプター・ライブラリーを提供します！
• Gradioベースのウェブ・インターフェースでトレーニングと推論を簡単にコントロール
• マルチGPUのトレーニングと配備をサポート
• 詳細なドキュメンテーションとディープラーニングコースを提供
• CPU、RTXシリーズグラフィックスカード、A10/A100、その他のコンピューティングカードなど、幅広いハードウェア環境に対応
• フルパラメータ微調整、LoRA微調整、定量トレーニングなど、様々なトレーニング方法に対応。
• 異なるトレーニングタスクのための複数のデータセットとモデルをサポートする。

ヘルプの使用

設置プロセス

MS-Swiftは以下の3つの方法でインストールできます：

1. インストールにはpipコマンドを使用する：

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U
   

2. ソースコードによるインストール：

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'
   

3. Dockerイメージを使ってインストールする。

ウェブインターフェースの使用

MS-SwiftはGradioベースのウェブ・インターフェースを提供しており、ユーザーは以下のコマンドで起動できる：

SWIFT_UI_LANG=en swift web-ui

ウェブインターフェースは、マルチGPUのトレーニングとデプロイメントをサポートし、ユーザーは簡単にトレーニングと推論プロセスを制御することができます。

トレーニングと推論

MS-Swiftは様々なトレーニングや推論方法をサポートしています。以下はコマンドの例です：

• シングルGPUトレーニング：

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• マルチGPUトレーニング：

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output
  

• 理由

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat
  

詳細資料

MS-Swiftは広範なドキュメントとディープラーニングコースを提供しており、ユーザーは以下のリンクで詳細を確認できる：

• 英語ドキュメント
• 中国語文書