SongGeneration - модель генерации музыки от Tencent AI Labs

Что такое SongGeneration?

SongGeneration - это проект по созданию высококачественных песен, запущенный Tencent AI Lab. Основанный на фреймворке LeLM (Large Language Model for Music), SongGeneration генерирует вокал и бэк-треки параллельно, чтобы достичь гармонии между ними. Пользователи могут направлять процесс генерации, вводя тексты песен, описательный текст (например, стиль, эмоции и т. д.) или эталонное аудио. SongGeneration поддерживает широкий спектр музыкальных стилей и эмоциональных выражений и генерирует высококачественные и разнообразные песни. Техническая архитектура сочетает гибридную и двухдорожечную маркировку, а сгенерированные метки реконструируются музыкальными кодеками как аудио. Он подходит для создания музыкальных композиций, саундтреков к фильмам и телепередачам, музыки к играм и других областей, обеспечивая эффективное и творческое решение для создателей.

Основные возможности SongGeneration

• Совместное создание вокала и бэк-трековSongGeneration генерирует вокал и бэк-треки одновременно, обеспечивая высокую степень ритмического, мелодического и эмоционального единства. При использовании смешанных маркеров и маркеров с двумя дорожками вокал и бэк-вокал смешиваются естественным образом, что позволяет избежать разделения вокала и бэк-вокала, которое происходит при использовании традиционных методов генерации.
• Поддержка нескольких стилей и движенийSongGeneration может генерировать песни на основе этих описаний, чтобы удовлетворить различные сценарии и потребности пользователей.
• Многодорожечная генерация: SongGeneration автоматически генерирует отдельные вокальные и бэк-треки, обеспечивая высокую степень совпадения мелодических, структурных, ритмических и оркестровых характеристик.
• Гибкие методы ввода: Пользователь может вводить тексты песен (которые должны быть помечены структурой, такой как [Verse], и[Chorus] и т.д.), текст описания или справочный аудиоматериал для руководства генерацией. Разнообразие методов ввода обеспечивает большое удобство для пользователя и позволяет легко начать работу даже неспециалистам.
• Высокое качество воспроизведения музыкиSongGeneration генерирует композиции с высококачественным звуком, превосходящим модели генерации музыки с открытым исходным кодом и конкурирующим с лучшими промышленными системами. Созданные композиции можно напрямую использовать в музыкальных композициях, саундтреках к фильмам и телепередачам, в игровой музыке и других сценариях.
• Эффективная генерация мощностей: SongGeneration основана на высокоэффективном фреймворке LeLM, который позволяет быстро генерировать полноценные песни, значительно повышая эффективность создания и снижая порог создания, делая создание музыки проще и эффективнее.

Адрес проекта SongGeneration

• Репозиторий GitHub:: https://github.com/tencent-ailab/SongGeneration
• Библиотека моделей HuggingFace:: https://huggingface.co/tencent/SongGeneration
• Технический документ arXiv:: https://arxiv.org/pdf/2506.07520
• Демонстрация опыта работы в режиме онлайн:: https://huggingface.co/spaces/tencent/SongGeneration

Как использовать

• Опыт работы в Интернете: Модель SongGeneration теперь доступна на Hugging Face и может быть использована пользователями в режиме онлайн.
• Как использовать функцию
  • управление текстомSongGeneration's music - это уникальный и мощный инструмент, позволяющий пользователям создавать высококачественные полнометражные музыкальные композиции на основе текста с ключевыми словами (например, "счастливый поп", "яростный рок").
  • следуйте стилюSongGeneration - это первый и единственный способ создать новую полнометражную песню в том же стиле, охватывающий широкий спектр жанров, таких как поп, рок, китайский и другие: пользователи могут загрузить свое собственное эталонное аудио длительностью 10 секунд или более, и SongGeneration автоматически создаст новую полнометражную песню в том же стиле.
  • Многодорожечная генерация: SongGeneration автоматически генерирует отдельные вокальные и бэк-треки, обеспечивая высокую степень совпадения мелодических, структурных, ритмических и оркестровых характеристик.
  • следующий тонSongGeneration: SongGeneration поддерживает следование тону на основе эталонного аудио, генерируя песни с вокалом уровня "тонального клона", который звучит естественно и эмоционально.
• местное использованиеЕсли вам нужно использовать SongGeneration локально, вы можете получить код и модели из репозитория Github и репозитория моделей Hugging Face. Пользователи могут загрузить код и вес модели, установить и настроить их в соответствии с инструкциями в документации проекта, а затем запустить SongGeneration локально для генерации музыки.

Технологические преимущества SongGeneration

• Кодирование и декодирование музыки с низкой скоростью передачи данныхSongGeneration обеспечивает высококачественное восстановление музыки при очень низких битрейтах (25 Гц) и сверхнизких битрейтах (0,35 кбит/с), эффективно сжимая и восстанавливая двухканальную музыку с частотой 48 кГц.
• Выравнивание по нескольким предпочтениям: SongGeneration способна точно выровнять множество параметров, таких как музыкальность, согласованность текстов, последовательность реплик и т. д., благодаря прямой оптимизации предпочтений (DPO) и многомерному выравниванию предпочтений. Созданные песни не только хорошо звучат, но и более точно соответствуют потребностям пользователя в мелодии, структуре и эмоциональном выражении.
• Параллельное предсказание многокатегорийных словКомпания SongGeneration приняла стратегию "сначала гибрид, потом двойная программа", которая позволяет избежать необходимости в различных типах программ. Токен Вмешательство между типами.
• Трехступенчатая парадигма обучения: SongGeneration использует трехступенчатую парадигму обучения: предварительное обучение, модульное обучение с расширением и обучение с выравниванием по нескольким предпочтениям.
• Высокая производительность и конкурентоспособностьПо сравнению с коммерческими моделями и моделями с открытым исходным кодом, SongGeneration продемонстрировала отличные результаты по нескольким ключевым параметрам, включая оценку контента, полезность контента и качество производства. Созданные песни демонстрируют высокую конкурентоспособность с точки зрения качества звука, мелодии, структуры и эмоциональной выразительности.

Для кого предназначена SongGeneration

• создатель музыки: Профессиональным музыкантам или любителям SongGeneration может оказать мощную творческую помощь. Он может помочь авторам быстро создавать высококачественные песни, вдохновлять и экономить творческое время на создание мелодий, аранжировок и подбора текстов. Создатели могут вводить тексты или описания в соответствии со своими творческими способностями и генерировать полноценные песни, отвечающие стилю и эмоциональным потребностям.
• кинопродюсерSongGeneration может быстро генерировать музыку, соответствующую эмоциональной атмосфере и стилевым требованиям фильма или телепередачи. Например, SongGeneration может генерировать подходящую фоновую музыку для фильмов, телевизионных драм, рекламы или коротких видеороликов, чтобы усилить общий эффект от работы.
• разработчик игрИгровая музыка должна быть тесно интегрирована с игровой сценой и атмосферой. SongGeneration может генерировать музыку, соответствующую игровой сцене в соответствии со стилем игры (например, фэнтези, научная фантастика, приключения и т. д.) и эмоциональными потребностями (например, напряженная, радостная, таинственная и т. д.), чтобы усилить чувство погружения игрока.
• создатель контентаSongGeneration может быстро генерировать музыку в соответствии со стилем и эмоциональными потребностями контента, избегая проблем с авторскими правами и повышая привлекательность контента.
• Преподаватели музыки и студенты: SongGeneration можно использовать в качестве учебного пособия по музыке, чтобы помочь учащимся понять различные музыкальные стили, эмоциональные проявления и композиторские приемы. Преподаватели могут использовать его для создания музыкальных образцов, чтобы продемонстрировать влияние различных стилей и эмоций, а также для стимулирования интереса учащихся к обучению.