ModelScope Swift: eine leichtgewichtige Infrastruktur für die effiziente Feinabstimmung und Bereitstellung großer Modelle.

Allgemeine Einführung

ModelScope Swift (kurz MS-Swift) ist eine effiziente, leichtgewichtige Infrastruktur, die für die Feinabstimmung, Argumentation, Bewertung und den Einsatz von Large LLMs (LLMs) und Multimodal Large Models (MLLMs) entwickelt wurde. MS-Swift unterstützt nicht nur die PEFT-Technologie (Parameter Efficient Fine-Tuning), sondern bietet auch eine umfangreiche Bibliothek von Adaptern zur Unterstützung der neuesten Trainingstechniken, wie NEFTune, LoRA+ und LLaMA-PRO. Für Benutzer, die mit Deep Learning nicht vertraut sind, bietet MS-Swift auch eine Gradio-basierte Webschnittstelle zur einfachen Steuerung von Training und Inferenz.

Funktionsliste

• Unterstützung für Schulung, Schlussfolgerungen, Bewertung und Einsatz von mehr als 350 LLMs und mehr als 100 MLLMs
• Bietet Adapterbibliotheken für die neuesten Trainingstechnologien wie PEFT, LoRA+, LLaMA-PRO und mehr!
• Gradio-basierte Weboberfläche zur einfachen Steuerung von Training und Inferenz
• Unterstützt Multi-GPU-Training und -Einsatz
• Bietet ausführliche Dokumentation und Kurse zum vertieften Lernen
• Unterstützt eine breite Palette von Hardware-Umgebungen, einschließlich CPUs, Grafikkarten der RTX-Serie, A10/A100 und andere Rechnerkarten
• Unterstützt eine Vielzahl von Trainingsmethoden, wie z.B. Full-Parameter-Feintuning, LoRA-Feintuning, quantitatives Training, etc.
• Unterstützung für mehrere Datensätze und Modelle für unterschiedliche Trainingsaufgaben

Hilfe verwenden

Einbauverfahren

MS-Swift kann auf die folgenden drei Arten installiert werden:

1. Verwenden Sie den Befehl pip zur Installation:
   复制复制复制复制复制复制复制

   复制

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U

2. Installation über den Quellcode:
   复制复制复制复制复制复制

   复制

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'

3. Installation mit einem Docker-Image.

Verwendung der Webschnittstelle

MS-Swift bietet eine Gradio-basierte Weboberfläche, die Benutzer mit dem folgenden Befehl starten können:

SWIFT_UI_LANG=en swift web-ui

Die Weboberfläche unterstützt Multi-GPU-Training und -Einsatz, und die Benutzer können den Trainings- und Inferenzprozess leicht steuern.

Ausbildung und Argumentation

MS-Swift unterstützt eine Vielzahl von Trainings- und Inferenzmethoden, hier sind einige Beispielbefehle:

• Einzel-GPU-Training:
  复制复制复制复制

  复制

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200

• Multi-GPU-Schulung:
  复制复制复制

  复制

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output

• Begründungen:
  复制复制

  复制

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat

Ausführliche Dokumentation

MS-Swift bietet eine umfangreiche Dokumentation und Deep-Learning-Kurse. Weitere Informationen finden Sie unter den folgenden Links:

• Englisches Dokument
• Chinesisches Dokument