SongGeneration - Modèle de génération de musique par Tencent AI Labs

Qu'est-ce que SongGeneration ?

SongGeneration est un projet de génération de chansons de haute qualité lancé par Tencent AI Lab. Basé sur le modèle LeLM (Large Language Model for Music), SongGeneration génère des voix et des pistes d'accompagnement en parallèle afin d'obtenir une harmonie entre les deux. Les utilisateurs peuvent guider le processus de génération en saisissant des paroles, un texte descriptif (style, émotion, etc.) ou un fichier audio de référence. SongGeneration prend en charge un large éventail de styles musicaux et d'expressions émotionnelles, et génère des chansons diversifiées et de grande qualité. L'architecture technique combine le balisage hybride et le balisage à deux pistes, les balises générées étant reconstruites en tant qu'audio par des codecs musicaux. Il convient à la composition musicale, aux bandes originales de films et de programmes télévisés, à la musique de jeux et à d'autres domaines, offrant ainsi une solution efficace et créative aux créateurs.

Principales caractéristiques de SongGeneration

• Co-génération de voix et de pistes d'accompagnementSongGeneration génère simultanément les voix et les chœurs, ce qui garantit un haut degré d'unité rythmique, mélodique et émotionnelle. Avec les jetons mixtes et les jetons double piste, les voix et les chœurs se mélangent naturellement, évitant la séparation des voix et des chœurs qui se produit dans les méthodes de génération traditionnelles.
• Support multi-styles et multi-émotionsSongGeneration peut générer des chansons sur la base de ces descriptions pour répondre à différents scénarios et exigences des utilisateurs.
• Génération multipisteSongGeneration : SongGeneration génère automatiquement des pistes vocales et des pistes d'accompagnement séparées tout en garantissant un degré élevé de correspondance mélodique, structurelle, rythmique et orchestrale.
• Méthodes de saisie flexiblesL'utilisateur peut entrer des paroles (à étiqueter avec une structure telle que [Verse],[Chorus] etc.), un texte de description ou un son de référence pour guider la génération. La variété des méthodes d'entrée offre un grand confort à l'utilisateur et facilite la prise en main, même pour les utilisateurs non experts.
• Sortie musicale de haute qualitéSongGeneration : SongGeneration génère des chansons avec des performances audio de haute qualité qui surpassent les modèles de génération de musique open-source et rivalisent avec les meilleurs systèmes de l'industrie. Les chansons générées peuvent être directement utilisées dans la composition musicale, les bandes sonores de films et de télévision, les musiques de jeux et d'autres scénarios.
• Génération efficace de capacitésSongGeneration : SongGeneration est basé sur le cadre très efficace de LeLM, qui peut rapidement générer des chansons complètes, améliorant considérablement l'efficacité de la création et abaissant le seuil de création, ce qui rend la création musicale plus facile et plus efficace.

Adresse du projet SongGeneration

• Dépôt GitHub: : https://github.com/tencent-ailab/SongGeneration
• Bibliothèque de modèles HuggingFace: : https://huggingface.co/tencent/SongGeneration
• Document technique arXiv: : https://arxiv.org/pdf/2506.07520
• Démonstration de l'expérience en ligne: : https://huggingface.co/spaces/tencent/SongGeneration

Comment l'utiliser

• Expérience en ligneLe modèle SongGeneration est maintenant disponible sur Hugging Face et peut être utilisé par les utilisateurs à travers une expérience en ligne.
• Comment utiliser la fonction
  • contrôle du texteSongGeneration est un outil unique et puissant qui permet aux utilisateurs de créer des compositions musicales complètes de haute qualité à partir de mots-clés (par exemple, "happy pop", "fierce rock").
  • suivre le styleSongGeneration est le premier et le seul moyen de créer une nouvelle chanson complète dans le même style, couvrant un large éventail de genres tels que la pop, le rock, le chinois et plus encore : les utilisateurs peuvent télécharger leur propre audio de référence de 10 secondes ou plus, et SongGeneration générera automatiquement une nouvelle chanson complète dans le même style.
  • Génération multipisteSongGeneration : SongGeneration génère automatiquement des pistes vocales et des pistes d'accompagnement séparées tout en garantissant un degré élevé de correspondance mélodique, structurelle, rythmique et orchestrale.
  • ton suivantSongGeneration : SongGeneration prend en charge le suivi de la tonalité sur la base de l'audio de référence, générant des chansons avec des performances vocales de niveau "clone de tonalité" qui sonnent naturelles et émotionnelles.
• utilisation localeSi vous avez besoin d'utiliser SongGeneration localement, vous pouvez obtenir le code et les modèles à partir du dépôt Github et du dépôt de modèles Hugging Face. Les utilisateurs peuvent télécharger le code et les poids des modèles, les installer et les configurer selon les instructions de la documentation du projet, puis exécuter SongGeneration localement pour générer de la musique.

Les avantages technologiques de SongGeneration

• Encodage et décodage de musique à faible débit binaireSongGeneration : SongGeneration réalise de manière innovante une reconstruction musicale de haute qualité à des débits binaires très faibles (25Hz) et ultra faibles (0,35kbps), en compressant et en restaurant efficacement la musique à deux canaux de 48kHz.
• Alignement des préférences multiplesSongGeneration est capable d'aligner avec précision plusieurs dimensions telles que la musicalité, l'alignement des paroles, la cohérence des repères, etc. grâce à l'optimisation directe des préférences (DPO) et à l'alignement multidimensionnel des préférences. Les chansons générées ne sont pas seulement performantes en termes de qualité sonore, mais correspondent aussi plus étroitement aux besoins de l'utilisateur en termes de mélodie, de structure et d'expression émotionnelle.
• Prédiction parallèle de tokens multi-catégoriesSongGeneration a adopté une stratégie "hybride d'abord, double voie ensuite" qui évite de devoir recourir à différents types de programmes. Jeton Interférence entre les types.
• Paradigme de formation en trois étapesSongGeneration : SongGeneration utilise un paradigme de formation en trois étapes : préformation, formation à l'extension modulaire et formation à l'alignement multi-préférences.
• Performances élevées et compétitivitéLes performances de SongGeneration ont été excellentes dans plusieurs domaines clés, notamment l'appréciation du contenu, l'utilité du contenu et la qualité de la production, par rapport aux modèles commerciaux et open source. Les chansons générées sont très compétitives en termes de qualité sonore, de mélodie, de structure et d'expression émotionnelle.

A qui s'adresse SongGeneration ?

• créateur de musiqueSongGeneration est un outil d'aide à la création puissant pour les musiciens professionnels et les amateurs. Il peut aider les créateurs à générer rapidement des chansons de haute qualité, les inspirer et leur faire gagner du temps dans la création de mélodies, l'arrangement et la mise en correspondance des paroles. Les créateurs peuvent saisir des paroles ou des descriptions selon leur propre créativité, et générer des chansons complètes qui répondent au style et aux besoins émotionnels.
• producteur de filmsSongGeneration peut rapidement générer de la musique qui correspond à l'atmosphère émotionnelle et aux exigences de style d'un film ou d'une production télévisuelle. Par exemple, SongGeneration peut générer une musique de fond appropriée pour des films, des séries télévisées, des publicités ou de courtes vidéos afin d'améliorer l'effet global de l'œuvre.
• développeur de jeuxSongGeneration peut générer une musique qui correspond à la scène du jeu en fonction du style du jeu (par exemple, fantaisie, science-fiction, aventure, etc.) et des besoins émotionnels (par exemple, tension, joie, mystère, etc.) afin d'améliorer le sentiment d'immersion du joueur.
• créateur de contenuSongGeneration peut générer rapidement de la musique en fonction du style et des besoins émotionnels du contenu, en évitant les problèmes de droits d'auteur tout en renforçant l'attrait du contenu.
• Enseignants et étudiants en musiqueSongGeneration : SongGeneration peut être utilisé comme outil d'éducation musicale pour aider les étudiants à comprendre les différents styles musicaux, les expressions émotionnelles et les techniques de composition. Les éducateurs peuvent l'utiliser pour générer des échantillons de musique afin de démontrer les effets de différents styles et émotions, et pour stimuler l'intérêt des élèves pour l'apprentissage.