Wan2.2-Animate - Um modelo generativo para a geração de ações do Tongyi Wanxiang Open Source

Wan2.2-O que é o Animate?

O Wan2.2-Animate é um modelo de geração de ação de código aberto da Tongyi Wanxiang, que oferece suporte a dois modos de imitação de ação e interpretação de papéis. Os usuários só precisam inserir uma imagem de personagem e um vídeo de referência. O modelo pode migrar a ação e a expressão do personagem do vídeo para o personagem da imagem, dando ao personagem da imagem uma expressão dinâmica. O modelo pode substituir o personagem do vídeo pelo personagem da imagem, mantendo o movimento, a expressão e o ambiente do vídeo original. O modelo suporta a condução de personagens, imagens de animação e fotos de animais, que podem ser aplicados à criação de vídeos curtos, geração de modelos de dança, produção de animação e outros campos. Um conjunto de dados de vídeo de personagens em grande escala que abrange fala, expressão facial e movimento corporal é construído, e o pós-treinamento baseado no modelo de vídeo Tongyi Wanxiang Tuyong alcança a compatibilidade de um único modelo com dois modos de inferência ao mesmo tempo. Os sinais esqueléticos e os recursos implícitos são usados para movimentos corporais e expressões faciais, respectivamente, juntamente com o módulo de redirecionamento de ações, para obter uma replicação precisa dos movimentos e das expressões.

Recursos funcionais do Wan2.2-Animate

• Migração de movimento e expressãoAo inserir imagens de personagens e vídeos de referência, você pode migrar os movimentos e as expressões dos personagens de vídeo para os personagens de imagem, dando expressividade dinâmica aos personagens de imagem.
• Substituição de caracteresSubstitua os caracteres do vídeo pelos caracteres da imagem, preservando o movimento, a expressão e o ambiente do vídeo original.
• Suporte a vários tipos de funçãoPode conduzir personagens, imagens de anime e fotos de animais para uma ampla gama de aplicações.
• Construção de conjuntos de dados em grande escalaDados de vídeo de personagens em larga escala: um conjunto de dados de vídeo de personagens em larga escala que abrange fala, expressões faciais e movimentos corporais para melhorar o desempenho do modelo.
• Formato de apresentação harmonizadoPadronização de informações de função, informações de ambiente e ações em um formato de representação unificado e obtenção de um modelo único compatível com ambos os modos de inferência.
• reprodução precisaPara movimentos corporais e expressões faciais, são usados sinais esqueléticos e recursos implícitos, respectivamente, juntamente com um módulo de redirecionamento de movimento, para obter uma replicação precisa de movimentos e expressões.
• Efeito de fusão de luzNo modo de substituição, um LoRA de fusão de luz separado foi projetado para garantir a fusão perfeita da luz.

Principais benefícios do Wan2.2-Animate

• Migração de movimento eficienteO movimento e a expressão no vídeo de referência podem ser migrados com precisão para a imagem do personagem-alvo com um efeito de migração natural e suave, dando ao personagem estático uma expressão vívida e dinâmica.
• Integração ambiental com a naturezaQuando os personagens são substituídos, os movimentos, as expressões e as informações ambientais do vídeo original podem ser perfeitamente preservados, de modo a realizar a integração natural dos personagens e do plano de fundo e evitar a sensação não natural de incompatibilidade.
• Adaptação do tipo de função múltiplaSuporte a uma ampla variedade de tipos de caracteres, como personagens, figuras de anime e animais, com ampla aplicabilidade para atender às necessidades criativas de diferentes campos.
• Suporte a conjuntos de dados em grande escalaTreinamento: O treinamento é baseado em um conjunto de dados de vídeo de personagens em grande escala que abrange fala, expressões faciais e movimentos corporais, com dados ricos e variados, o que proporciona ao modelo recursos mais sólidos de aprendizado e generalização.
• modelo único com vários modosPadronizar as informações do personagem, as informações do ambiente e as ações em um formato de representação unificado, para criar um modelo único compatível com os modos de raciocínio de imitação de ação e de interpretação de papéis e para reduzir o custo de uso do modelo.
• Tecnologia de reprodução de precisãoO uso de sinais esqueléticos e recursos implícitos para movimentos corporais e expressões faciais, respectivamente, juntamente com o módulo de redirecionamento de movimento, pode replicar com precisão os movimentos e as expressões, melhorando a qualidade e o realismo dos vídeos gerados.
• Otimização da fusão de luzLoRA: Um LoRA de fusão de luz independente é projetado no modo de substituição, o que garante efetivamente a consistência do efeito de luz e fusão, tornando o vídeo gerado mais natural e coordenado visualmente.

Qual é o site oficial do Wan2.2-Animate?

• Site do projeto:: https://humanaigc.github.io/wan-animate/
• Repositório do Github:: https://github.com/Wan-Video/Wan2.2
• Biblioteca do modelo HuggingFace:: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

Wan2.2 - Populações aplicáveis de animais

• criador de conteúdoO sistema pode ser usado para gerar rapidamente vídeos criativos, como animações, anúncios, vídeos curtos, etc., para aumentar a eficiência criativa e a diversidade de conteúdo.
• AnimadoresEfeitos dinâmicos: personagens estáticos podem receber efeitos dinâmicos, simplificando o processo de produção de animação, reduzindo os custos de produção e melhorando a qualidade da animação.
• Amantes e criadores de dançaA capacidade de gerar modelos de dança personalizados para ajudar a criar conteúdo de vídeo de dança exclusivo.
• entusiasta de animeA criação animada de seus personagens de anime favoritos atende às suas necessidades individuais e aumenta a diversão da criação.
• educadorVídeo: pode ser usado para criar vídeos instrutivos, como a demonstração de processos de movimento complexos, para aumentar a eficácia e o interesse do ensino.
• Equipe de publicidade e marketingCapacidade de gerar rapidamente vídeos publicitários envolventes que aumentam a criatividade e o apelo do anúncio.