ModelScope Swift: eine leichtgewichtige Infrastruktur für die effiziente Feinabstimmung und Bereitstellung großer Modelle.

Allgemeine Einführung

ModelScope Swift (kurz MS-Swift) ist eine effiziente, leichtgewichtige Infrastruktur, die für die Feinabstimmung, Argumentation, Bewertung und den Einsatz von Large LLMs (LLMs) und Multimodal Large Models (MLLMs) entwickelt wurde. MS-Swift unterstützt nicht nur die PEFT-Technologie (Parameter Efficient Fine-Tuning), sondern bietet auch eine umfangreiche Bibliothek von Adaptern zur Unterstützung der neuesten Trainingstechniken, wie NEFTune, LoRA+ und LLaMA-PRO. Für Benutzer, die mit Deep Learning nicht vertraut sind, bietet MS-Swift auch eine Gradio-basierte Webschnittstelle zur einfachen Steuerung von Training und Inferenz.

Funktionsliste

• Unterstützung für Schulung, Schlussfolgerungen, Bewertung und Einsatz von mehr als 350 LLMs und mehr als 100 MLLMs
• Bietet Adapterbibliotheken für die neuesten Trainingstechnologien wie PEFT, LoRA+, LLaMA-PRO und mehr!
• Gradio-basierte Weboberfläche zur einfachen Steuerung von Training und Inferenz
• Unterstützt Multi-GPU-Training und -Einsatz
• Bietet ausführliche Dokumentation und Kurse zum vertieften Lernen
• Unterstützt eine breite Palette von Hardware-Umgebungen, einschließlich CPUs, Grafikkarten der RTX-Serie, A10/A100 und andere Rechnerkarten
• Unterstützt eine Vielzahl von Trainingsmethoden, wie z.B. Full-Parameter-Feintuning, LoRA-Feintuning, quantitatives Training, etc.
• Unterstützung für mehrere Datensätze und Modelle für unterschiedliche Trainingsaufgaben

Hilfe verwenden

Ablauf der Installation

MS-Swift kann auf die folgenden drei Arten installiert werden:

1. Verwenden Sie den Befehl pip zur Installation:

   # Alle Funktionen installieren
   pip install 'ms-swift[all]' -U
   # Nur LLM-bezogene Funktionen installieren
   pip installieren 'ms-swift[llm]' -U
   # Installiert nur AIGC-bezogene Funktionen
   pip installieren 'ms-swift[aigc]' -U
   # Installiert nur Adapter-bezogene Funktionen
   pip install ms-swift -U
   

2. Installation über den Quellcode:

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '. [llm]'
   

3. Installation mit einem Docker-Image.

Verwendung der Webschnittstelle

MS-Swift bietet eine Gradio-basierte Weboberfläche, die Benutzer mit dem folgenden Befehl starten können:

SWIFT_UI_LANG=de swift web-ui

Die Webschnittstelle unterstützt Multi-GPU-Training und -Einsatz, und die Benutzer können den Trainings- und Inferenzprozess leicht steuern.

Ausbildung und Argumentation

MS-Swift unterstützt eine Vielzahl von Trainings- und Inferenzmethoden, hier sind einige Beispielbefehle:

• Einzel-GPU-Training:

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir ausgabe --eval_steps 200
  

• Multi-GPU-Schulung:

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_ typ lora --output_dir output
  

• Begründungen:

  CUDA_VISIBLE_DEVICES=0 swift infer ---model_type qwen1half-7b-chat
  

Ausführliche Dokumentation

MS-Swift bietet eine umfangreiche Dokumentation und Deep-Learning-Kurse. Weitere Informationen finden Sie unter den folgenden Links:

• Englisches Dokument
• Chinesisches Dokument