YuE : Transforme les paroles en un modèle de base d'une chanson complète, prenant en charge un large éventail de styles musicaux.

Introduction générale

YuE est un modèle de base open source de génération de chansons complètes qui se concentre sur la transformation des paroles en chansons complètes. Contrairement à d'autres modèles qui ne génèrent que de courts extraits de musique non vocale, YuE est capable de générer des chansons complètes avec des voix principales et secondaires pouvant durer jusqu'à plusieurs minutes. Le modèle relève les défis posés par les contextes longs, les signaux musicaux complexes, le contenu linguistique déformé et le manque de données parallèles dans la génération de musique. YuE utilise une variété de techniques, y compris un lexateur audio sémantiquement amélioré, une technique de bipartitionnement, la génération de pensées enchaînées aux paroles et un schéma de formation en trois phases, pour s'assurer que les chansons générées ont une structure musicale cohérente, une mélodie vocale attrayante et un accompagnement adéquat. YuE prend en charge un large éventail de styles musicaux et de genres vocaux pour la pop, le métal et de nombreux autres genres musicaux.

Liste des fonctions

• Paroles de chansons: convertit les paroles saisies en une chanson complète, y compris le chant principal et les chœurs.
• Différents styles de musiqueLe logiciel est compatible avec un large éventail de styles musicaux, tels que la pop et le métal.
• Génération de haute qualitéLes chansons générées sont cohérentes et de grande qualité.
• projet open sourceLe code et le modèle sont libres et peuvent être librement utilisés et modifiés par l'utilisateur.
• Optimisation du GPULa technologie de l'information : elle prend en charge le calcul parallèle à grande échelle par le GPU afin d'améliorer l'efficacité de la production.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnement: :
   • Assurez-vous que la version de Python est >= 3.8.
   • Installer la dépendance :pip install -r requirements.txt.
   • Installez FlashAttention 2 pour économiser la mémoire du GPU :pip install flash-attn --no-build-isolation.
   • Configurez l'environnement CUDA (en utilisant CUDA 11.8 comme exemple) :

    export PATH=/usr/local/cuda-11.8/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
   

2. Télécharger le code: :
   • Clonage de l'entrepôt de projets :git clone https://github.com/multimodal-art-projection/YuE.git
   • Accédez au catalogue de projets :cd YuE

Processus d'utilisation

1. Préparer les paroles.: :
   • Enregistrer les paroles dans un fichier texte, par exemplelyrics.txt.
2. Exécuter le script généré: :
   • Utilisez la commande suivante pour générer une chanson :

    python generate_song.py --lyrics lyrics.txt --output song.wav
   

3. Paramètres de génération de la configuration: :
   • Les détails de la génération peuvent être ajustés via des paramètres de ligne de commande, tels que le style de musique, le type de voix, etc : bash
python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal male


Fonctionnement détaillé

• Paroles de chansons: :
  • Saisissez le fichier des paroles et le modèle génère automatiquement une chanson complète avec les voix principales et secondaires.
  • Un large éventail de styles musicaux et de types de voix est pris en charge, et les utilisateurs peuvent choisir différents paramètres en fonction de leurs besoins.
• Différents styles de musique: :
  • Il prend en charge différents styles musicaux tels que la pop, le métal, etc. Les utilisateurs peuvent sélectionner le type de musique à générer à l'aide de paramètres.
• Génération de haute qualité: :
  • Les modèles sont optimisés pour garantir que les chansons résultantes sont cohérentes et de haute qualité pour la création musicale professionnelle.
• projet open source: :
  • Le code et le modèle sont libres et peuvent être librement utilisés et modifiés par les utilisateurs pour la recherche scientifique et les applications commerciales.
• Optimisation du GPU: :
  • Il prend en charge le calcul parallèle GPU à grande échelle pour améliorer l'efficacité de la génération et convient à la génération de chansons sur de longues périodes.