SongGeneration - Musikgenerierungsmodell von Tencent AI Labs

Was ist SongGeneration?

SongGeneration ist ein von Tencent AI Lab ins Leben gerufenes Projekt zur Erzeugung hochwertiger Songs. Basierend auf dem LeLM-Framework (Large Language Model for Music) generiert SongGeneration Gesang und Backing-Tracks parallel, um eine Harmonie zwischen beiden zu erreichen. Benutzer können den Generierungsprozess durch die Eingabe von Liedtexten, beschreibendem Text (z. B. Stil, Emotion usw.) oder Referenz-Audio steuern. songGeneration unterstützt eine breite Palette von Musikstilen und emotionalen Ausdrücken und generiert qualitativ hochwertige und vielfältige Songs. Die technische Architektur kombiniert hybrides und zweispuriges Tagging, wobei die generierten Tags von Musikcodecs als Audio rekonstruiert werden. Es eignet sich für Musikkomposition, Film- und TV-Soundtracks, Spielemusik und andere Bereiche und bietet eine effiziente und kreative Lösung für Musikschaffende.

Die wichtigsten Merkmale von SongGeneration

• Co-Generierung von Vocals und Backing TracksSongGeneration generiert Gesang und Backing-Tracks gleichzeitig und sorgt so für ein hohes Maß an rhythmischer, melodischer und emotionaler Einheitlichkeit. Mit gemischten Token und doppelspurigen Token verschmelzen Vocals und Backing Vocals auf natürliche Weise und vermeiden die Trennung von Vocals und Backing Vocals, die bei traditionellen Generierungsmethoden auftritt.
• Multistil- und MultibewegungsunterstützungSongGeneration kann auf der Grundlage dieser Beschreibungen Lieder für verschiedene Szenarien und Benutzeranforderungen generieren.
• Mehrspurige ErzeugungSongGeneration generiert automatisch getrennte Gesangs- und Backing-Tracks und gewährleistet dabei ein hohes Maß an melodischer, struktureller, rhythmischer und orchestraler Übereinstimmung.
• Flexible EingabemethodenDer Benutzer kann Liedtexte eingeben (die mit einer Struktur wie [Verse]und[Chorus] usw.), Beschreibungstexte oder Referenz-Audios, um die Erstellung anzuleiten. Die Vielfalt der Eingabemethoden ist auch für nicht professionelle Nutzer sehr bequem.
• Hochwertige MusikausgabeSongGeneration generiert Songs mit einer hochwertigen Audioleistung, die Open-Source-Musikgenerierungsmodelle übertrifft und mit den besten Systemen der Industrie konkurriert. Die generierten Songs können direkt in der Musikkomposition, in Film- und Fernsehsoundtracks, in der Spielemusik und in anderen Szenarien verwendet werden.
• Effiziente Erzeugung von KapazitätSongGeneration basiert auf dem hocheffizienten LeLM-Framework, das schnell komplette Songs generieren kann, was die Effizienz der Erstellung erheblich verbessert und die Schwelle für die Erstellung senkt, wodurch die Musikproduktion einfacher und effizienter wird.

SongGeneration Projektadresse

• GitHub-Repository:: https://github.com/tencent-ailab/SongGeneration
• HuggingFace-Modellbibliothek:: https://huggingface.co/tencent/SongGeneration
• arXiv Technisches Papier:: https://arxiv.org/pdf/2506.07520
• Online-Erlebnis-Demo:: https://huggingface.co/spaces/tencent/SongGeneration

Wie zu verwenden

• Online-ErfahrungDas SongGeneration-Modell ist jetzt auf Hugging Face verfügbar und kann von den Nutzern über ein Online-Erlebnis verwendet werden.
• So verwenden Sie die Funktion
  • TextsteuerungSongGeneration ist ein einzigartiges und leistungsfähiges Tool, das es den Nutzern ermöglicht, auf der Grundlage von Schlüsselwörtern (z.B. "happy pop", "fierce rock") qualitativ hochwertige Musikkompositionen in voller Länge zu erstellen.
  • dem Stil folgenSongGeneration ist ein neuer, abendfüllender Song im gleichen Stil, der eine breite Palette von Genres wie Pop, Rock, Chinesisch und mehr abdeckt: Nutzer können ihre eigenen Referenz-Audios von 10 Sekunden oder mehr hochladen, und SongGeneration generiert automatisch einen neuen, abendfüllenden Song im gleichen Stil.
  • Mehrspurige ErzeugungSongGeneration generiert automatisch getrennte Gesangs- und Backing-Tracks und gewährleistet dabei ein hohes Maß an melodischer, struktureller, rhythmischer und orchestraler Übereinstimmung.
  • TonfolgeSongGeneration: SongGeneration unterstützt das Verfolgen von Tönen auf der Basis von Referenzaudio und generiert Songs mit einer Gesangsleistung auf "Tone-Clone"-Niveau, die natürlich und emotional klingt.
• lokale NutzungWenn Sie SongGeneration lokal verwenden möchten, können Sie den Code und die Modelle aus dem Github Repository und dem Hugging Face Model Repository herunterladen, installieren und gemäß den Anweisungen in der Projektdokumentation konfigurieren und dann SongGeneration lokal ausführen, um Musik zu erzeugen.

Die technologischen Vorteile von SongGeneration

• Kodierung und Dekodierung von Musik mit niedriger BitrateSongGeneration ermöglicht eine qualitativ hochwertige Musikrekonstruktion bei sehr niedrigen Bitraten (25Hz) und ultraniedrigen Bitraten (0,35kbps) und komprimiert und restauriert effizient 48kHz-Zweikanalmusik.
• Abgleich mehrerer PräferenzenSongGeneration ist in der Lage, durch direkte Präferenzoptimierung (DPO) und mehrdimensionalen Präferenzabgleich mehrere Dimensionen wie Musikalität, Textabgleich, Cue-Konsistenz usw. genau abzugleichen. Die generierten Songs sind nicht nur in Bezug auf die Klangqualität gut, sondern entsprechen auch in Bezug auf Melodie, Struktur und emotionalen Ausdruck besser den Bedürfnissen des Nutzers.
• Parallele Vorhersage von Multi-Kategorie-TokenSongGeneration verfolgt die Strategie "zuerst Hybrid, dann zweigleisig", um die Notwendigkeit verschiedener Programmtypen zu vermeiden. Token Interferenzen zwischen Typen.
• Dreistufiges AusbildungsparadigmaSongGeneration verwendet ein dreistufiges Trainingsparadigma, bestehend aus Vortraining, modularem Erweiterungstraining und Multi-Präferenz-Ausrichtungstraining.
• Hohe Leistung und WettbewerbsfähigkeitDie Leistung von SongGeneration war im Vergleich zu kommerziellen und Open-Source-Modellen in mehreren Schlüsseldimensionen hervorragend, darunter die Wertschätzung des Inhalts, der Nutzen des Inhalts und die Produktionsqualität. Die generierten Songs sind in Bezug auf Klangqualität, Melodie, Struktur und emotionalen Ausdruck sehr wettbewerbsfähig.

Für wen SongGeneration geeignet ist

• MusikproduzentOb Profi-Musiker oder Laie, SongGeneration bietet eine leistungsstarke kreative Unterstützung. Die Software hilft bei der schnellen Erstellung hochwertiger Songs, inspiriert und spart kreative Zeit bei der Erstellung von Melodien, Arrangements und passenden Texten. Songschöpfer können Texte oder Beschreibungen nach ihrer eigenen Kreativität eingeben und komplette Songs erstellen, die dem Stil und den emotionalen Anforderungen entsprechen.
• FilmproduzentSongGeneration kann schnell Musik erzeugen, die der emotionalen Atmosphäre und den stilistischen Anforderungen einer Film- oder Fernsehproduktion entspricht. So kann SongGeneration zum Beispiel passende Hintergrundmusik für Filme, TV-Dramen, Werbung oder Kurzvideos generieren, um die Gesamtwirkung des Werks zu verstärken.
• SpieleentwicklerSongGeneration ist in der Lage, Musik zu generieren, die dem Stil des Spiels (z.B. Fantasy, Sci-Fi, Adventure, etc.) und den emotionalen Anforderungen (z.B. Spannung, Freude, Mystery, etc.) entspricht, um das Eintauchen des Spielers in das Spiel zu verbessern.
• Ersteller von InhaltenSongGeneration kann in kürzester Zeit Musik generieren, die dem Stil und den emotionalen Bedürfnissen des Inhalts entspricht, und dabei Urheberrechtsprobleme vermeiden und gleichzeitig die Attraktivität des Inhalts erhöhen.
• Musikpädagogen und StudentenSongGeneration kann als Hilfsmittel im Musikunterricht eingesetzt werden, um Schülern verschiedene Musikstile, emotionale Ausdrucksformen und Kompositionstechniken näher zu bringen. Pädagogen können damit Musikbeispiele erzeugen, um die Auswirkungen verschiedener Stile und Emotionen zu demonstrieren und das Interesse der Schüler am Lernen zu wecken.