YuE: Преобразовывает текст в базовую модель полной песни, поддерживая широкий спектр музыкальных стилей

Общее введение

YuE - это базовая модель генерации полных песен с открытым исходным кодом, которая фокусируется на преобразовании текстов в полные песни. В отличие от других моделей, которые генерируют только короткие фрагменты невокальной музыки, YuE способна генерировать полные песни с ведущим и бэк-вокалом, продолжительность которых может достигать нескольких минут. Модель решает проблемы, связанные с длинными контекстами, сложными музыкальными сигналами, искаженным лингвистическим содержанием и отсутствием параллельных данных при генерации музыки. YuE использует различные методы, включая семантически расширенный аудиолексир, технику бипарирования, генерацию мыслей по цепочке текстов и трехфазную схему обучения, чтобы гарантировать, что созданные песни имеют последовательную музыкальную структуру, увлекательную вокальную мелодию и соответствующий аккомпанемент.YuE поддерживает широкий спектр музыкальных стилей YuE поддерживает широкий спектр музыкальных стилей и вокальных жанров для поп-музыки, метала и многих других музыкальных жанров.

Список функций

• Лирика к песням: Преобразует введенный текст в полноценную песню, включая ведущий и бэк-вокал.
• Различные музыкальные стили: Поддерживает широкий спектр музыкальных стилей, таких как поп и металл.
• Высококачественное поколение: Убедитесь в том, что созданные композиции являются последовательными и качественными.
• проект с открытым исходным кодом: Код и модель имеют открытый исходный код и могут свободно использоваться и модифицироваться пользователем.
• Оптимизация GPU: Поддержка крупномасштабных параллельных вычислений на GPU для повышения эффективности генерации.

Использование помощи

Процесс установки

1. Подготовка к защите окружающей среды::
   • Убедитесь, что версия Python >= 3.8.
   • Установите зависимость:pip install -r requirements.txt.
   • Установите FlashAttention 2 для экономии памяти GPU:pip install flash-attn --no-build-isolation.
   • Настройте среду CUDA (на примере CUDA 11.8):

    export PATH=/usr/local/cuda-11.8/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
   

2. Код загрузки::
   • Хранилище проектов клонирования:git clone https://github.com/multimodal-art-projection/YuE.git
   • Перейдите в каталог проектов:cd YuE

Процесс использования

1. Подготовьте тексты песен.::
   • Сохраните текст песни в текстовом файле, напримерlyrics.txt.
2. Запустите сгенерированный скрипт::
   • Для создания песни используйте следующую команду:

    python generate_song.py --lyrics lyrics.txt --output song.wav
   

3. Параметры генерации конфигурации::
   • Детали генерации могут быть настроены с помощью параметров командной строки, таких как стиль музыки, тип вокала и т. д: bash
python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal male


Детальное управление функциями

• Лирика к песням::
  • Введите файл с текстом, и модель автоматически сгенерирует полную песню с ведущим и бэк-вокалом.
  • Поддерживается широкий спектр музыкальных стилей и типов вокала, и пользователи могут выбирать различные параметры в соответствии со своими потребностями.
• Различные музыкальные стили::
  • Он поддерживает различные музыкальные стили, такие как поп, металл и т.д. Пользователи могут выбрать тип генерируемой музыки с помощью параметров.
• Высококачественное поколение::
  • Модели оптимизированы, чтобы обеспечить целостность и высокое качество получаемых композиций для профессионального создания музыки.
• проект с открытым исходным кодом::
  • Код и модель имеют открытый исходный код и могут свободно использоваться и модифицироваться пользователями для научных исследований и коммерческих приложений.
• Оптимизация GPU::
  • Поддерживает масштабные параллельные вычисления на GPU для повышения эффективности генерации и подходит для генерации песен в течение длительных периодов времени.