YuE: Wandelt Liedtexte in ein Basismodell eines kompletten Songs um und unterstützt eine breite Palette von Musikstilen

Allgemeine Einführung

YuE ist ein Open-Source-Basismodell für die Generierung kompletter Songs, das sich auf die Umwandlung von Texten in vollständige Songs konzentriert. Im Gegensatz zu anderen Modellen, die nur kurze Schnipsel von nicht gesungener Musik generieren, ist YuE in der Lage, komplette Songs mit Lead- und Backing-Vocals zu generieren, die bis zu mehreren Minuten lang sein können. YuE verwendet eine Vielzahl von Techniken, darunter einen semantisch erweiterten Audio-Lexer, eine Bipartitioning-Technik, die Generierung von Gedankenketten und ein dreistufiges Trainingsschema, um sicherzustellen, dass die generierten Songs eine kohärente musikalische Struktur, eine ansprechende Gesangsmelodie und eine angemessene Begleitung aufweisen. und Gesangsgenres für Pop, Metal und viele andere Musikgenres.

Funktionsliste

• Songtexte zu LiedernKonvertiert den eingegebenen Text in einen kompletten Song, einschließlich Lead- und Backing-Vocals.
• Verschiedene MusikstileUnterstützung für Pop, Metal und viele andere Musikstile.
• Hochwertige ErzeugungDie erzeugten Songs müssen kohärent und von hoher Qualität sein.
• Open-Source-ProjektDer Code und das Modell sind quelloffen und können vom Benutzer frei verwendet und verändert werden.
• GPU-OptimierungUnterstützt groß angelegte parallele GPU-Berechnungen zur Verbesserung der Generierungseffizienz.

Hilfe verwenden

Ablauf der Installation

1. Vorbereitung der Umwelt::
   • Stellen Sie sicher, dass die Python-Version >= 3.8 ist.
   • Installieren Sie die Abhängigkeit:pip install -r anforderungen.txt.
   • Installieren Sie FlashAttention 2, um GPU-Speicher zu sparen:pip install flash-attn --no-build-isolation.
   • Konfigurieren Sie die CUDA Umgebung (am Beispiel von CUDA 11.8):

    export PATH=/usr/local/cuda-11.8/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
   

2. Code herunterladen::
   • Klonen des Projektlagers:git clone https://github.com/multimodal-art-projection/YuE.git
   • Rufen Sie den Projektkatalog auf:cd YuE

Verwendung Prozess

1. Bereiten Sie den Text vor.::
   • Speichern Sie den Liedtext als Textdatei, z. B.lyrics.txt.
2. Führen Sie das generierte Skript aus::
   • Verwenden Sie den folgenden Befehl, um einen Song zu erstellen:

    python generate_song.py --lyrics lyrics.txt --output song.wav
   

3. Parameter für die Konfigurationserstellung::
   • Die Details der Generierung können über Kommandozeilenparameter eingestellt werden, z. B. Musikstil, Gesangstyp usw: bash
python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal male


Detaillierte Funktionsweise

• Songtexte zu Liedern::
  • Geben Sie die Textdatei ein, und das Modell generiert automatisch einen vollständigen Song mit Lead- und Backing-Vocals.
  • Es wird eine breite Palette von Musikstilen und Gesangsarten unterstützt, und der Benutzer kann je nach Bedarf verschiedene Parameter auswählen.
• Verschiedene Musikstile::
  • Es unterstützt verschiedene Musikstile wie Pop, Metal usw. Der Benutzer kann die Art der zu erzeugenden Musik über Parameter auswählen.
• Hochwertige Erzeugung::
  • Die Modelle sind optimiert, um sicherzustellen, dass die resultierenden Songs kohärent und von hoher Qualität für die professionelle Musikproduktion sind.
• Open-Source-Projekt::
  • Der Code und das Modell sind quelloffen und können von den Nutzern für wissenschaftliche Forschung und kommerzielle Anwendungen frei verwendet und verändert werden.
• GPU-Optimierung::
  • Unterstützt parallele GPU-Berechnungen in großem Maßstab, um die Effizienz der Generierung zu verbessern, und eignet sich für die Generierung von Songs über lange Zeiträume.