SongGeneration - Modelo de geração de música da Tencent AI Labs

O que é o SongGeneration?

O SongGeneration é um projeto de geração de músicas de alta qualidade lançado pelo Tencent AI Lab. Com base na estrutura LeLM (Large Language Model for Music), o SongGeneration gera vocais e faixas de apoio em paralelo para obter harmonia entre os dois. Os usuários podem orientar o processo de geração inserindo letras, textos descritivos (por exemplo, estilo, emoção etc.) ou áudio de referência. O songGeneration é compatível com uma ampla gama de estilos musicais e expressões emocionais e gera músicas diversificadas e de alta qualidade. A arquitetura técnica combina marcação híbrida e de duas faixas, com as tags geradas reconstruídas como áudio por codecs de música. Ele é adequado para composição musical, trilhas sonoras de filmes e TV, músicas de jogos e outros campos, oferecendo uma solução eficiente e criativa para os criadores.

Principais recursos do SongGeneration

• Co-geração de vocais e faixas de apoioO SongGeneration gera vocais e faixas de apoio simultaneamente, garantindo um alto grau de unidade rítmica, melódica e emocional. Com tokens mistos e tokens de faixa dupla, os vocais e os backing vocals se misturam naturalmente, evitando a separação de vocais e backing vocals que ocorre nos métodos tradicionais de geração.
• Suporte a vários estilos e movimentosO SongGeneration pode gerar músicas com base nessas descrições para atender a diferentes cenários e necessidades do usuário.
• Geração de várias trilhasSongGeneration: o SongGeneration gera automaticamente faixas vocais e de apoio separadas, garantindo um alto grau de correspondência melódica, estrutural, rítmica e orquestral.
• Métodos de entrada flexíveisO usuário pode inserir letras (a serem rotuladas com uma estrutura como [Verse]e[Chorus] etc.), texto de descrição ou áudio de referência para orientar a geração. A variedade de métodos de entrada proporciona grande conveniência para o usuário e facilita a iniciação mesmo para usuários não especializados.
• Saída de música de alta qualidadeSongGeneration: O SongGeneration gera músicas com desempenho de áudio de alta qualidade que supera os modelos de geração de música de código aberto e rivaliza com os principais sistemas do setor. As músicas geradas podem ser usadas diretamente em composições musicais, trilhas sonoras de filmes e televisão, músicas de jogos e outros cenários.
• Geração eficiente de capacidadeSongGeneration: O SongGeneration baseia-se na estrutura LeLM altamente eficiente, que pode gerar rapidamente músicas completas, aumentando consideravelmente a eficiência da criação e diminuindo o limite de criação, tornando a criação de músicas mais fácil e eficiente.

Endereço do projeto SongGeneration

• Repositório do GitHub:: https://github.com/tencent-ailab/SongGeneration
• Biblioteca do modelo HuggingFace:: https://huggingface.co/tencent/SongGeneration
• Artigo técnico do arXiv:: https://arxiv.org/pdf/2506.07520
• Demonstração da experiência on-line:: https://huggingface.co/spaces/tencent/SongGeneration

Como usar

• Experiência on-lineO modelo SongGeneration agora está disponível no Hugging Face e pode ser usado pelos usuários por meio de uma experiência on-line.
• Como usar a função
  • controle de textoA música do SongGeneration é uma ferramenta exclusiva e poderosa que permite aos usuários criar composições musicais completas de alta qualidade com base em texto de palavras-chave (por exemplo, "happy pop", "fierce rock").
  • seguir o estiloO SongGeneration é a primeira e única maneira de criar uma nova música completa no mesmo estilo, abrangendo uma ampla variedade de gêneros, como pop, rock, chinês e muito mais: os usuários podem carregar seu próprio áudio de referência de 10 segundos ou mais, e o SongGeneration gerará automaticamente uma nova música completa no mesmo estilo.
  • Geração de várias trilhasSongGeneration: o SongGeneration gera automaticamente faixas vocais e de apoio separadas, garantindo um alto grau de correspondência melódica, estrutural, rítmica e orquestral.
  • tom seguinteSongGeneration: o SongGeneration suporta o acompanhamento de tons com base no áudio de referência, gerando músicas com desempenho vocal no nível de "clone de tons" que soa natural e emocional.
• uso localSe você precisar usar o SongGeneration localmente, poderá obter o código e os modelos no repositório do Github e no repositório de modelos do Hugging Face. Os usuários podem fazer o download do código e dos pesos dos modelos, instalá-los e configurá-los de acordo com as instruções na documentação do projeto e, em seguida, executar o SongGeneration localmente para gerar músicas.

Vantagens tecnológicas da SongGeneration

• Codificação e decodificação de música com baixa taxa de bitsSongGeneration: O SongGeneration consegue, de forma inovadora, a reconstrução de músicas de alta qualidade com taxas de bits muito baixas (25 Hz) e ultrabaixas (0,35 kbps), compactando e restaurando com eficiência músicas de dois canais a 48 kHz.
• Alinhamento de preferências múltiplasO SongGeneration é capaz de alinhar com precisão várias dimensões, como musicalidade, alinhamento de letras, consistência de dicas etc., por meio da otimização direta de preferências (DPO) e do alinhamento multidimensional de preferências. As músicas geradas não só são excelentes em termos de qualidade sonora, mas também estão mais próximas das necessidades dos usuários em termos de melodia, estrutura e expressão emocional.
• Previsão paralela de tokens de várias categoriasA SongGeneration adotou uma estratégia "híbrida em primeiro lugar e de trilha dupla em segundo" que evita a necessidade de diferentes tipos de programas. Token Interferência entre tipos.
• Paradigma de treinamento em três estágiosSongGeneration usa um paradigma de treinamento em três estágios: pré-treinamento, treinamento de extensão modular e treinamento de alinhamento de várias preferências.
• Alto desempenho e competitividadeO desempenho do SongGeneration foi excelente em várias dimensões importantes, incluindo apreciação do conteúdo, utilidade do conteúdo e qualidade da produção, quando comparado com modelos comerciais e de código aberto. As músicas geradas mostram forte competitividade em termos de qualidade sonora, melodia, estrutura e expressão emocional.

Para quem é o SongGeneration

• criador de músicaSongGeneration: Músicos profissionais ou amadores, o SongGeneration pode oferecer uma poderosa assistência criativa. Ele pode ajudar os criadores a gerar rapidamente músicas de alta qualidade, inspirar e economizar tempo criativo na criação de melodias, arranjos e correspondência de letras. Os criadores podem inserir letras ou descrições de acordo com sua própria criatividade e gerar músicas completas que atendam ao estilo e às necessidades emocionais.
• produtor de filmesO SongGeneration pode gerar rapidamente músicas que correspondem à atmosfera emocional e aos requisitos de estilo de uma produção de filme ou TV. Por exemplo, o SongGeneration pode gerar músicas de fundo adequadas para filmes, dramas de TV, propagandas ou vídeos curtos para aprimorar o efeito geral do trabalho.
• desenvolvedor de jogosO SongGeneration pode gerar músicas que combinem com o cenário do jogo de acordo com o estilo do jogo (por exemplo, fantasia, ficção científica, aventura etc.) e as necessidades emocionais (por exemplo, tensão, alegria, mistério etc.) para melhorar a sensação de imersão do jogador.
• criador de conteúdoO SongGeneration pode gerar músicas rapidamente de acordo com o estilo e as necessidades emocionais do conteúdo, evitando problemas de direitos autorais e aumentando o apelo do conteúdo.
• Educadores e estudantes de músicaSongGeneration: O SongGeneration pode ser usado como um auxílio na educação musical para ajudar os alunos a entender diferentes estilos musicais, expressões emocionais e técnicas de composição. Os educadores podem usá-lo para gerar amostras de música para demonstrar os efeitos de diferentes estilos e emoções e para estimular o interesse dos alunos no aprendizado.