ModelScope Swift: eine leichtgewichtige Infrastruktur für die effiziente Feinabstimmung und Bereitstellung großer Modelle.

Allgemeine Einführung

ModelScope Swift (kurz MS-Swift) ist eine effiziente, leichtgewichtige Infrastruktur, die für die Feinabstimmung, Argumentation, Bewertung und den Einsatz von Large LLMs (LLMs) und Multimodal Large Models (MLLMs) entwickelt wurde. MS-Swift unterstützt nicht nur die PEFT-Technologie (Parameter Efficient Fine-Tuning), sondern bietet auch eine umfangreiche Bibliothek von Adaptern zur Unterstützung der neuesten Trainingstechniken, wie NEFTune, LoRA+ und LLaMA-PRO. Für Benutzer, die mit Deep Learning nicht vertraut sind, bietet MS-Swift auch eine Gradio-basierte Webschnittstelle zur einfachen Steuerung von Training und Inferenz.

Funktionsliste

• Unterstützung für Schulung, Schlussfolgerungen, Bewertung und Einsatz von mehr als 350 LLMs und mehr als 100 MLLMs
• Bietet Adapterbibliotheken für die neuesten Trainingstechnologien wie PEFT, LoRA+, LLaMA-PRO und mehr!
• Gradio-basierte Weboberfläche zur einfachen Steuerung von Training und Inferenz
• Unterstützt Multi-GPU-Training und -Einsatz
• Bietet ausführliche Dokumentation und Kurse zum vertieften Lernen
• Unterstützt eine breite Palette von Hardware-Umgebungen, einschließlich CPUs, Grafikkarten der RTX-Serie, A10/A100 und andere Rechnerkarten
• Unterstützt eine Vielzahl von Trainingsmethoden, wie z.B. Full-Parameter-Feintuning, LoRA-Feintuning, quantitatives Training, etc.
• Unterstützung für mehrere Datensätze und Modelle für unterschiedliche Trainingsaufgaben

Hilfe verwenden

Ablauf der Installation

MS-Swift kann auf die folgenden drei Arten installiert werden:

1. Verwenden Sie den Befehl pip zur Installation:

   # Alle Funktionen installieren
   pip install 'ms-swift[all]' -U
   # Nur LLM-bezogene Funktionen installieren
   pip installieren 'ms-swift[llm]' -U
   # Installiert nur AIGC-bezogene Funktionen
   pip installieren 'ms-swift[aigc]' -U
   # Installiert nur Adapter-bezogene Funktionen
   pip install ms-swift -U
   

2. Installation über den Quellcode:

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '. [llm]'
   

3. Installation mit einem Docker-Image.

Verwendung der Webschnittstelle

MS-Swift bietet eine Gradio-basierte Weboberfläche, die Benutzer mit dem folgenden Befehl starten können:

SWIFT_UI_LANG=de swift web-ui

Die Webschnittstelle unterstützt Multi-GPU-Training und -Einsatz, und die Benutzer können den Trainings- und Inferenzprozess leicht steuern.

Ausbildung und Argumentation

MS-Swift unterstützt eine Vielzahl von Trainings- und Inferenzmethoden, hier sind einige Beispielbefehle:

• Einzel-GPU-Training:

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir ausgabe --eval_steps 200
  

• Multi-GPU-Schulung:

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_ typ lora --output_dir output
  

• Begründungen:

  CUDA_VISIBLE_DEVICES=0 swift infer ---model_type qwen1half-7b-chat
  

Ausführliche Dokumentation

MS-Swift bietet eine umfangreiche Dokumentation und Deep-Learning-Kurse. Weitere Informationen finden Sie unter den folgenden Links:

• Englisches Dokument
• Chinesisches Dokument

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>