YuE: transforma la letra en un modelo base de una canción completa, compatible con una amplia gama de estilos musicales.

Introducción general

YuE es un modelo base de generación de canciones completas de código abierto que se centra en transformar letras de canciones en canciones completas. A diferencia de otros modelos que sólo generan fragmentos cortos de música no vocal, YuE es capaz de generar canciones completas con voz principal y coros que pueden durar hasta varios minutos. El modelo aborda los retos que plantean los contextos largos, las señales musicales complejas, el contenido lingüístico distorsionado y la falta de datos paralelos en la generación de música.YuE emplea diversas técnicas, como un lexer de audio mejorado semánticamente, una técnica de bipartición, la generación de pensamientos encadenados de letras y un esquema de entrenamiento en tres fases, para garantizar que las canciones generadas tengan una estructura musical coherente, una melodía vocal atractiva y un acompañamiento adecuado.YuE admite una amplia gama de estilos musicales y géneros vocales para pop, metal y muchos otros géneros musicales.

Lista de funciones

• Letras de cancionesConvierte la letra introducida en una canción completa, incluyendo la voz principal y los coros.
• Varios estilos musicales: Admite una amplia gama de estilos musicales, como pop y metal.
• Generación de alta calidad: Garantizar que las canciones generadas sean coherentes y de calidad.
• proyecto de código abiertoEl código y el modelo son de código abierto y pueden ser utilizados y modificados libremente por el usuario.
• Optimización de la GPU: Admite computación paralela a gran escala en la GPU para mejorar la eficiencia de la generación.

Utilizar la ayuda

Proceso de instalación

1. Preparación medioambiental::
   • Asegúrese de que la versión de Python es >= 3.8.
   • Instale la dependencia:pip install -r requirements.txt.
   • Instala FlashAttention 2 para ahorrar memoria en la GPU:pip install flash-attn --no-build-isolation.
   • Configure el entorno CUDA (utilizando CUDA 11.8 como ejemplo):

    export PATH=/usr/local/cuda-11.8/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
   

2. Descargar código::
   • Almacén de proyectos de clonación:git clone https://github.com/multimodal-art-projection/YuE.git
   • Vaya al catálogo de proyectos:cd YuE

Proceso de utilización

1. Prepara la letra.::
   • Guarda la letra en un archivo de texto, por ejemplolyrics.txt.
2. Ejecutar el script generado::
   • Utilice el siguiente comando para generar una canción:

    python generate_song.py --lyrics lyrics.txt --output song.wav
   

3. Parámetros de generación de la configuración::
   • Los detalles de la generación pueden ajustarse mediante parámetros de línea de comandos, como el estilo musical, el tipo de voz, etc: bash
python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal male


Funcionamiento detallado

• Letras de canciones::
  • Introduce el archivo de la letra y el modelo generará automáticamente una canción completa con voz principal y coros.
  • Admite una amplia gama de estilos musicales y tipos de voz, y los usuarios pueden elegir distintos parámetros en función de sus necesidades.
• Varios estilos musicales::
  • Admite varios estilos musicales, como pop, metal, etc. Los usuarios pueden seleccionar el tipo de música que se va a generar mediante parámetros.
• Generación de alta calidad::
  • Los modelos se optimizan para garantizar que las canciones resultantes sean coherentes y de gran calidad para la creación musical profesional.
• proyecto de código abierto::
  • El código y el modelo son de código abierto y pueden ser utilizados y modificados libremente por los usuarios para la investigación científica y las aplicaciones comerciales.
• Optimización de la GPU::
  • Admite computación paralela en GPU a gran escala para mejorar la eficiencia de generación y es adecuado para generar canciones durante largos periodos de tiempo.