InspireMusic: Alis Open-Source-Framework für die einheitliche Erzeugung von Musik, Songs und Audio

Allgemeine Einführung

InspireMusic ist ein auf PyTorch basierendes Open-Source-Toolkit, das sich auf Musik-, Song- und Audiogenerierung konzentriert. Es bietet ein einheitliches Framework für die Erzeugung von hochwertigem Audio mit Kontrolle über Text-Cues, Musikstruktur und Musikstil. InspireMusic unterstützt 24kHz und 48kHz Audio-Generierung und ist in der Lage, lange Audio-Generierung. Das Toolkit bietet nicht nur Inferenz- und Trainingscode, sondern unterstützt auch Mixed-Precision-Training für die Feinabstimmung und Inferenz des Modells.InspireMusic hat sich zum Ziel gesetzt, den Nutzern bei der Innovation von Klanglandschaften zu helfen und die harmonische Ästhetik in der Musikforschung durch den Prozess des Audio-Labelling und De-Labelling zu verbessern.

Demo: https://modelscope.cn/studios/iic/InspireMusic/summary

Funktionsliste

• Text-to-MusicMusik aus Textstichworten generieren.
• Kontrolle der MusikstrukturUnterstützung für die Erzeugung von Musik auf der Grundlage musikalischer Strukturen.
• Musikstil-SteuerungSie können den Stil der erzeugten Musik bestimmen.
• Hochwertige AudioerzeugungUnterstützt 24kHz und 48kHz Audiogenerierung.
• Lange AudioerzeugungUnterstützt die Erzeugung von Audiodaten mit langer Dauer.
• Gemischtes PräzisionstrainingUnterstützt BF16, FP16/FP32 Training mit gemischter Präzision.
• Modell-Feinabstimmung und InferenzErmöglicht eine einfache Feinabstimmung und Überlegungen zu Skripten und Strategien.
• Online-DemoEine Online-Demo ist verfügbar, und die Benutzer können sie auf ModelScope und HuggingFace ausprobieren.

Hilfe verwenden

Ablauf der Installation

1. Klon-Lagerhaus:

   git clone https://github.com/FunAudioLLM/InspireMusic.git
cd InspireMusic

2. Installieren Sie die Abhängigkeit:

   pip install -r anforderungen.txt

3. Installieren Sie PyTorch (wählen Sie den entsprechenden Installationsbefehl für Ihre CUDA-Version):

   pip install torch torchvision torchaudio

Richtlinien für die Verwendung

Text-to-Music

1. Bereiten Sie Textaufforderungen vor, z. B. "Erfinden Sie ein schwungvolles Klavierstück".
2. Führen Sie das Generierungsskript aus:

   python app.py --text "Erzeuge ein beschwingtes Stück Klaviermusik"

3. Die erzeugte Musik wird in dem angegebenen Ausgabeverzeichnis gespeichert.

Kontrolle der Musikstruktur

1. Bereiten Sie eine Musikstrukturdatei vor, die die Rhythmen, Akkorde usw. der Musik definiert.
2. Führen Sie das Generierungsskript aus:

   python app.py --structure pfad/zu/structure/file

3. Die erzeugte Musik wird auf der Strukturdatei basieren.

Musikstil-Steuerung

1. Wählen Sie einen vordefinierten Musikstil aus, z.B. "Klassik", "Jazz", etc.
2. Führen Sie das Generierungsskript aus:

   python app.py --style "klassisch"

3. Die erzeugte Musik wird dem ausgewählten Musikstil entsprechen.

Modell-Feinabstimmung und Inferenz

InspireMusic bietet bequeme Skripte zur Feinabstimmung und Inferenz, die es dem Benutzer ermöglichen, das Modell und die Inferenz nach seinen Bedürfnissen zu optimieren. Nachfolgend finden Sie ein einfaches Beispiel für die Feinabstimmung:

1. Bereiten Sie den Trainingsdatensatz vor.
2. Führen Sie das Feinabstimmungsskript aus:

   python finetune.py --data path/to/dataset --output path/to/output/model

3. Inferenz mit einem fein abgestimmten Modell:

   python app.py --model path/to/output/model --text "Erzeuge ein neues Musikstück"

Online-Demo

Benutzer können die Online-Demoseiten auf ModelScope und HuggingFace besuchen, um die Leistungsfähigkeit von InspireMusic zu erleben. Geben Sie einfach Textanweisungen ein, um hochwertige Musik zu erzeugen.