SongGeneration - Modelo de generación de música de Tencent AI Labs
Últimos recursos sobre IAPublicado hace 2 meses Círculo de intercambio de inteligencia artificial 1.5K 00
¿Qué es SongGeneration?
SongGeneration es un proyecto de generación de canciones de alta calidad lanzado por Tencent AI Lab. Basado en el marco LeLM (Large Language Model for Music), SongGeneration genera voces y pistas de acompañamiento en paralelo para lograr la armonía entre ambas. Los usuarios pueden guiar el proceso de generación introduciendo letras, texto descriptivo (por ejemplo, estilo, emoción, etc.) o audio de referencia. songGeneration admite una amplia gama de estilos musicales y expresiones emocionales, y genera canciones diversas y de alta calidad. La arquitectura técnica combina el etiquetado híbrido y en dos pistas, y las etiquetas generadas se reconstruyen como audio mediante códecs musicales. Es adecuado para composición musical, bandas sonoras de cine y TV, música de juegos y otros campos, y ofrece una solución eficaz y creativa a los creadores.

Características principales de SongGeneration
- Co-generación de voces y pistas de acompañamientoSongGeneration genera voces y pistas de acompañamiento simultáneamente, lo que garantiza un alto grado de unidad rítmica, melódica y emocional. Con tokens mixtos y tokens de doble pista, las voces y los coros se mezclan de forma natural, evitando la separación de voces y coros que se produce en los métodos de generación tradicionales.
- Soporte multi-estilo y multi-emociónSongGeneration puede generar canciones basadas en estas descripciones para satisfacer diferentes escenarios y necesidades de los usuarios.
- Generación multipistaSongGeneration genera automáticamente pistas vocales y de acompañamiento separadas, garantizando un alto grado de coincidencia melódica, estructural, rítmica y orquestal.
- Métodos de introducción flexiblesEl usuario puede introducir letras (que se etiquetarán con una estructura como
[Verse]
y[Chorus]
etc.), texto descriptivo o audio de referencia para guiar la generación. La variedad de métodos de entrada proporciona una gran comodidad al usuario y facilita la iniciación incluso a los usuarios no expertos. - Salida de música de alta calidadSongGeneration genera canciones con un rendimiento de audio de alta calidad que supera a los modelos de generación musical de código abierto y rivaliza con los mejores sistemas de la industria. Las canciones generadas pueden utilizarse directamente en composición musical, bandas sonoras de cine y televisión, música para juegos y otros escenarios.
- Generación eficiente de capacidad: SongGeneration se basa en el eficaz marco LeLM, que puede generar rápidamente canciones completas, mejorando enormemente la eficacia de la creación y reduciendo el umbral de creación, lo que hace que la creación musical sea más fácil y eficaz.
Dirección del proyecto SongGeneration
- Repositorio GitHub:: https://github.com/tencent-ailab/SongGeneration
- Biblioteca de modelos HuggingFace:: https://huggingface.co/tencent/SongGeneration
- Documento técnico arXiv:: https://arxiv.org/pdf/2506.07520
- Demostración de la experiencia en línea:: https://huggingface.co/spaces/tencent/SongGeneration
Cómo utilizarlo
- Experiencia en línea: El modelo SongGeneration ya está disponible en Hugging Face y los usuarios pueden utilizarlo a través de una experiencia en línea.
- Cómo utilizar la función
- control de textoLa música de SongGeneration es una herramienta única y potente que permite a los usuarios crear composiciones musicales completas de alta calidad a partir de palabras clave (por ejemplo, "pop alegre", "rock feroz").
- sigue el estiloSongGeneration es la primera y única forma de crear una nueva canción completa en el mismo estilo, abarcando una amplia gama de géneros como pop, rock, chino y más: los usuarios pueden subir su propio audio de referencia de 10 segundos o más, y SongGeneration generará automáticamente una nueva canción completa en el mismo estilo.
- Generación multipistaSongGeneration genera automáticamente pistas vocales y de acompañamiento separadas, garantizando un alto grado de coincidencia melódica, estructural, rítmica y orquestal.
- tono siguienteSongGeneration: SongGeneration admite el seguimiento tonal basado en audio de referencia, lo que genera canciones con una interpretación vocal de nivel "clon tonal" que suena natural y emotiva.
- uso localSi necesita utilizar SongGeneration localmente, puede obtener el código y los modelos en el repositorio de Github y en el repositorio de modelos de Hugging Face. Los usuarios pueden descargar el código y los pesos de los modelos, instalarlos y configurarlos siguiendo las instrucciones de la documentación del proyecto y, a continuación, ejecutar SongGeneration localmente para generar música.
Ventajas tecnológicas de SongGeneration
- Codificación y descodificación de música a baja velocidad de bits: SongGeneration logra de forma innovadora la reconstrucción de música de alta calidad a velocidades de bits muy bajas (25 Hz) y ultrabajas (0,35 kbps), comprimiendo y restaurando eficazmente música de dos canales a 48 kHz.
- Alineación de preferencias múltiples: SongGeneration es capaz de alinear con precisión múltiples dimensiones como la musicalidad, la alineación de las letras, la coherencia de las pistas, etc. mediante la Optimización Directa de Preferencias (OPD) y la alineación multidimensional de preferencias. Las canciones generadas no sólo ofrecen una buena calidad de sonido, sino que también se ajustan mejor a las necesidades del usuario en cuanto a melodía, estructura y expresión emocional.
- Predicción paralela de tokens multicategoríaSongGeneration ha adoptado una estrategia "híbrida primero, dual después" que evita la necesidad de distintos tipos de programas. Ficha Interferencia entre tipos.
- Paradigma de formación en tres etapasSongGeneration utiliza un paradigma de formación en tres fases: formación previa, formación de extensión modular y formación de alineación multipreferencia.
- Alto rendimiento y competitividadEl rendimiento de SongGeneration fue excelente en varias dimensiones clave, como la apreciación del contenido, la utilidad del contenido y la calidad de la producción, en comparación con los modelos comerciales y de código abierto. Las canciones generadas muestran una fuerte competitividad en cuanto a calidad de sonido, melodía, estructura y expresión emocional.
A quién va dirigido SongGeneration
- creador de músicaMúsicos profesionales o aficionados, SongGeneration puede proporcionar una potente asistencia creativa. Puede ayudar a los creadores a generar rápidamente canciones de alta calidad, inspirar y ahorrar tiempo creativo en la creación de melodías, arreglos y concordancia de letras. Los creadores pueden introducir letras o descripciones según su propia creatividad, y generar canciones completas que se ajusten al estilo y las necesidades emocionales.
- productor de cineSongGeneration puede generar rápidamente música que se adapte a la atmósfera emocional y a los requisitos de estilo de una producción cinematográfica o televisiva. Por ejemplo, SongGeneration puede generar música de fondo adecuada para películas, telenovelas, anuncios o vídeos cortos para mejorar el efecto general de la obra.
- desarrollador de juegosSongGeneration puede generar música que se adapte a la escena del juego según su estilo (fantasía, ciencia ficción, aventura, etc.) y sus necesidades emocionales (tensión, alegría, misterio, etc.) para aumentar la sensación de inmersión del jugador.
- creador de contenidosSongGeneration puede generar música rápidamente de acuerdo con el estilo y las necesidades emocionales del contenido, evitando problemas de derechos de autor al tiempo que mejora el atractivo del contenido.
- Educadores musicales y estudiantesSongGeneration puede utilizarse como ayuda en la educación musical para ayudar a los estudiantes a comprender diferentes estilos musicales, expresiones emocionales y técnicas de composición. Los educadores pueden utilizarlo para generar muestras musicales que demuestren los efectos de diferentes estilos y emociones, y para estimular el interés de los alumnos por el aprendizaje.
© declaración de copyright
Derechos de autor del artículo Círculo de intercambio de inteligencia artificial Todos, por favor no reproducir sin permiso.
Artículos relacionados
Sin comentarios...