YuE：将歌词转化为完整歌曲的基础模型，支持多种音乐风格

综合介绍

YuE是一个开源的全歌曲生成基础模型，专注于将歌词转化为完整的歌曲。与其他仅能生成短片段非声乐音乐的模型不同，YuE能够生成包含主唱和伴奏的完整歌曲，时长可达数分钟。该模型解决了音乐生成中的长上下文、复杂音乐信号、语言内容失真和缺乏平行数据等挑战。YuE采用了多种技术，包括语义增强音频分词器、双分词技术、歌词链式思维生成和三阶段训练方案，确保生成的歌曲具有连贯的音乐结构、吸引人的声乐旋律和适当的伴奏。YuE支持多种音乐风格和声乐类型，适用于流行、金属等多种音乐类型。

功能列表

• 歌词转歌曲：将输入的歌词转化为完整的歌曲，包括主唱和伴奏。
• 多种音乐风格：支持流行、金属等多种音乐风格。
• 高质量生成：确保生成的歌曲连贯且高质量。
• 开源项目：代码和模型开源，用户可以自由使用和修改。
• GPU优化：支持大规模GPU并行计算，提升生成效率。

使用帮助

安装流程

1. 环境准备：
   • 确保Python版本>=3.8。
   • 安装依赖：pip install -r requirements.txt。
   • 安装FlashAttention 2以节省GPU内存：pip install flash-attn --no-build-isolation。
   • 配置CUDA环境（以CUDA 11.8为例）：

    export PATH=/usr/local/cuda-11.8/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
   

2. 下载代码：
   • 克隆项目仓库：git clone https://github.com/multimodal-art-projection/YuE.git
   • 进入项目目录：cd YuE

使用流程

1. 准备歌词：
   • 将歌词保存为文本文件，例如lyrics.txt。
2. 运行生成脚本：
   • 使用以下命令生成歌曲：

    python generate_song.py --lyrics lyrics.txt --output song.wav
   

3. 配置生成参数：
   • 可以通过命令行参数调整生成的细节，例如音乐风格、声乐类型等： bash
python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal male


详细功能操作

• 歌词转歌曲：
  • 输入歌词文件，模型会自动生成包含主唱和伴奏的完整歌曲。
  • 支持多种音乐风格和声乐类型，用户可以根据需求选择不同的参数。
• 多种音乐风格：
  • 支持流行、金属等多种音乐风格，用户可以通过参数选择生成的音乐类型。
• 高质量生成：
  • 模型经过优化，确保生成的歌曲连贯且高质量，适用于专业音乐创作。
• 开源项目：
  • 代码和模型开源，用户可以自由使用和修改，适用于科研和商业应用。
• GPU优化：
  • 支持大规模GPU并行计算，提升生成效率，适用于生成长时间的歌曲。