DiffRhythm : génère des chansons d'une durée maximale de 4 minutes et 45 secondes en 10 secondes.

Introduction générale

DiffRhythm est un projet open source développé par l'ASLP-lab (Audio, Speech and Language Processing Group, Northwestern Polytechnical University), qui se concentre sur la création musicale de bout en bout grâce à la technologie de l'intelligence artificielle. Il est basé sur le modèle de diffusion latente et est capable de générer une chanson complète d'une durée maximale de 4 minutes et 45 secondes, y compris les voix et les chœurs, en seulement 10 secondes. L'objectif de DiffRhythm est de résoudre les problèmes liés au modèle traditionnel de génération de musique, à savoir une grande complexité, un long temps de génération et la possibilité de ne générer que des fragments des points douloureux. DiffRhythm convient aux créateurs de musique, aux éducateurs et aux utilisateurs de l'industrie du divertissement.

Encapsulation des flux de travail de ComfyUI : Chttps://github.com/billwuhao/ComfyUI_DiffRhythm

Expérience : https://huggingface.co/spaces/ASLP-lab/DiffRhythm

Liste des fonctions

• Génération de chansons de bout en boutLes chansons : Saisissez les paroles et les indications de style pour générer automatiquement des chansons complètes avec les voix et les pistes d'accompagnement.
• déduction rapideGénérer une chanson d'une durée maximale de 4 minutes et 45 secondes en 10 secondes : Générer une chanson d'une durée maximale de 4 minutes et 45 secondes en 10 secondes.
• Paroles synchronisées avec la mélodieLa mélodie générée doit correspondre naturellement aux syllabes et au rythme des paroles.
• Personnalisation du styleLa musique : elle prend en charge plusieurs styles musicaux pour générer de la musique qui répond aux besoins de l'utilisateur.
• Soutien à l'Open SourceLes fonctionnalités de l'application de la loi sur la protection de l'environnement : : fournir un code source et des modèles qui permettent aux utilisateurs de personnaliser et d'étendre les fonctionnalités.
• Une production de haute qualitéLa musique générée est d'un niveau élevé en termes de qualité sonore et d'écoute.

Utiliser l'aide

Processus d'installation

DiffRhythm est un projet open source basé sur GitHub dont l'installation et le fonctionnement nécessitent quelques connaissances en programmation. Voici les étapes détaillées de l'installation :

1. Préparation de l'environnement
   • Assurez-vous que Python 3.8 ou plus est installé sur votre ordinateur.
   • Installer Git pour télécharger du code depuis GitHub.
   • Il est recommandé d'utiliser un environnement virtuel (par ex. venv peut-être conda) pour éviter les conflits de dépendance.
2. Télécharger le code du projet
   • Ouvrez un terminal et entrez la commande suivante pour cloner le dépôt DiffRhythm :

     git clone https://github.com/ASLP-lab/DiffRhythm.git
     

   • Accédez au catalogue de projets :

     cd DiffRhythm
     

3. Installation des dépendances
   • Les projets fournissent généralement requirements.txt qui répertorie les bibliothèques Python requises.
   • Exécutez la commande suivante dans le terminal pour installer la dépendance :

     pip install -r requirements.txt
     

   • Si vous n'avez pas ce fichier, vous pouvez installer manuellement les bibliothèques de base telles que PyTorch en vous référant aux notes sur les dépendances sur la page GitHub ou dans la documentation.
4. Télécharger le modèle pré-entraîné
   • Les modèles pré-entraînés de DiffRhythm sont généralement hébergés sur Hugging Face ou d'autres plateformes de stockage en nuage.
   • entretiens ASLP-lab/DiffRhythm-base Télécharger le fichier du modèle (par exemple cfm_model.pt).
   • Placez les fichiers de modèle téléchargés dans le dossier spécifié dans le répertoire du projet (généralement décrit dans la documentation, par ex. models/).
5. Vérifier l'installation
   • Exécutez une commande de test simple dans le terminal (voir le fichier README de GitHub pour la commande exacte), par exemple :

     python main.py --test
     

   • Si aucune erreur n'est signalée, l'installation a réussi.

Comment utiliser DiffRhythm

La fonction principale de DiffRhythm est de générer des chansons en entrant des paroles et des indications de style. La procédure d'utilisation détaillée est décrite ci-dessous :

1. préparation des intrants

• paroles de chansonsLes textes : Rédiger un texte (en chinois, en anglais, etc.) et l'enregistrer dans un fichier texte (par ex. lyrics.txt), ou le saisir directement sur la ligne de commande.
• Conseils de styleLe style de musique: : Préparez une brève description du style, par exemple "pop-rock", "piano classique" ou "musique de danse électronique".

2. génération de chansons

• Ouvrez un terminal et entrez dans le répertoire du projet DiffRhythm.
• Exécutez la commande generate (les paramètres spécifiques sont basés sur la documentation officielle, l'exemple de commande est le suivant) :

python generate.py --lyrics "lyrics.txt" --style "pop rock" --output "song.wav"

• Paramètre Description :
  • --lyrics: Spécifie le chemin d'accès au fichier des paroles.
  • --style: Entrer un repère de style musical.
  • --output: Spécifie le chemin d'accès et le nom du fichier audio de sortie.
• Attendez environ 10 secondes et le programme générera un fichier audio au format WAV dans le chemin spécifié.

3. vérification de la production

• Une fois la génération terminée, recherchez le song.wav et le lire à l'aide d'un lecteur audio (tel que Windows Media Player ou VLC).
• Vérifiez que les paroles sont en phase avec la mélodie et que la qualité du son est conforme aux attentes.

Fonctions vedettes

• Génération de chansons de bout en boutDiffRhythm : Sans segmentation, DiffRhythm génère des chansons complètes en une seule fois. Les utilisateurs n'ont qu'à fournir les paroles et le style, et aucun ajustement supplémentaire des paramètres n'est nécessaire pour obtenir le produit fini.
• déduction rapideLa vitesse de génération est extrêmement rapide grâce à la structure non autorégressive et à la technique de diffusion latente. Par rapport au temps de génération des modèles traditionnels, qui prend souvent plusieurs minutes, la génération en 10 secondes de DiffRhythm améliore considérablement l'efficacité.
• Paroles synchronisées avec la mélodieSi vous constatez que la mélodie générée ne correspond pas aux paroles, vous pouvez ajuster le nombre de syllabes dans les paroles ou ajouter des descriptions telles que "tempo clair" dans l'astuce de style afin d'optimiser la sortie.
• Personnalisation du styleExemple : Essayez différents styles, tels que "jazz", "folk" ou "hip-hop", et observez l'évolution des résultats. Plus l'indication de style est précise, plus la musique générée sera proche de ce qui est attendu.

Conseils et astuces

• Optimiser les parolesLes paroles courtes sont plus faciles à associer à une mélodie que les paroles plus longues, en évitant les phrases trop complexes.
• Génération de lots: : Écrire un script simple qui passe en boucle les appels à la fonction generate.pyLa chanson peut être générée pour plusieurs chansons à la fois.
• sortie de débogageSi les résultats générés ne sont pas satisfaisants, vérifiez les fichiers journaux (le cas échéant) ou ajustez les paramètres du modèle (par exemple, le nombre d'étapes de diffusion) comme décrit dans la documentation GitHub.

mise en garde

• exigences en matière de matérielLe processus de génération nécessite des ressources informatiques importantes, et il est recommandé d'utiliser un ordinateur équipé d'un GPU pour augmenter la vitesse.
• contribution open sourceSi vous êtes bon programmeur, vous pouvez forker le projet, optimiser le code ou ajouter de nouvelles fonctionnalités et soumettre une demande d'extraction.
• Alerte au droit d'auteurLa musique générée peut présenter des risques en matière de droits d'auteur en raison de similitudes stylistiques et est recommandée pour l'étude ou l'utilisation non commerciale.

Ces étapes vous permettront de démarrer rapidement avec DiffRhythm et d'expérimenter le processus de création d'une chanson, des paroles jusqu'au morceau complet !