Wan2.2-Animate - Un modèle génératif pour la génération d'actions du Tongyi Wanxiang Open Source

Wan2.2-Qu'est-ce qu'Animate ?

Wan2.2-Animate est un modèle de génération d'action open source de Tongyi Wanxiang, qui prend en charge deux modes d'imitation d'action et de jeu de rôle. Les utilisateurs n'ont qu'à saisir l'image d'un personnage et une vidéo de référence, le modèle peut migrer l'action et l'expression du personnage de la vidéo vers le personnage de l'image, ce qui donne au personnage de l'image une expression dynamique. Le modèle peut remplacer le personnage de la vidéo par le personnage de l'image tout en conservant les mouvements, l'expression et l'environnement de la vidéo originale. Le modèle prend en charge les personnages de conduite, les images d'animation et les photos d'animaux, ce qui peut être appliqué à la création de courtes vidéos, à la génération de modèles de danse, à la production d'animations et à d'autres domaines. Un ensemble de données vidéo de personnages à grande échelle couvrant la parole, l'expression faciale et le mouvement du corps est construit, et le post-entraînement basé sur le modèle vidéo Tongyi Wanxiang Tuyong permet d'obtenir la compatibilité d'un modèle unique avec deux modes d'inférence en même temps. Les signaux squelettiques et les caractéristiques implicites sont utilisés pour les mouvements du corps et les expressions faciales respectivement, avec le module de redirection d'action, afin d'obtenir une reproduction précise des mouvements et des expressions.

Fonctionnalités de Wan2.2-Animate

• Mouvement et expression MigrationEn introduisant des images de personnages et des vidéos de référence, vous pouvez transférer les mouvements et les expressions des personnages de la vidéo vers les personnages de l'image, ce qui confère aux personnages de l'image une expressivité dynamique.
• Remplacement des caractèresRemplacer les personnages de la vidéo par les personnages de l'image tout en conservant le mouvement, l'expression et l'environnement de la vidéo d'origine.
• Prise en charge de plusieurs types de rôlesLes photos de personnages, de dessins animés et d'animaux peuvent être utilisées pour un large éventail d'applications.
• Construction d'ensembles de données à grande échelle: Un ensemble de données vidéo de personnages à grande échelle couvrant la parole, les expressions faciales et les mouvements du corps afin d'améliorer les performances du modèle.
• Format de présentation harmoniséLes objectifs sont les suivants : normaliser les informations sur les rôles, les informations sur l'environnement et les actions dans un format de représentation unifié et obtenir un modèle unique compatible avec les deux modes d'inférence.
• reproduction fidèlePour les mouvements du corps et les expressions faciales, les signaux squelettiques et les caractéristiques implicites sont utilisés respectivement, avec un module de reciblage des mouvements, pour obtenir une reproduction précise des mouvements et des expressions.
• Effet de fusion de la lumièreEn mode remplacement, un système de fusion de la lumière distinct est conçu pour assurer une fusion parfaite de la lumière.

Avantages principaux de Wan2.2-Animate

• Migration efficace des mouvementsLe mouvement et l'expression de la vidéo de référence peuvent être transférés avec précision vers l'image du personnage cible avec un effet de migration naturel et fluide, ce qui confère au personnage statique une expression vivante et dynamique.
• Intégration environnementale avec la natureLorsque les personnages sont remplacés, les mouvements, les expressions et les informations environnementales de la vidéo originale peuvent être parfaitement préservés, de manière à réaliser l'intégration naturelle des personnages et de l'arrière-plan, et à éviter le sentiment artificiel d'incompatibilité.
• Adaptation du type de rôle multipleLe logiciel permet de créer un large éventail de types de caractères, tels que des personnages, des figures animées et des animaux, avec une large applicabilité pour répondre aux besoins créatifs de différents domaines.
• Prise en charge d'ensembles de données à grande échelleLa formation est basée sur un ensemble de données vidéo de personnages à grande échelle couvrant la parole, les expressions faciales et les mouvements du corps, avec des données riches et variées, conférant au modèle des capacités d'apprentissage et de généralisation plus fortes.
• un seul modèle avec plusieurs modesLes objectifs sont les suivants : standardiser les informations relatives au personnage, à l'environnement et aux actions dans un format de représentation unifié, réaliser un modèle unique compatible avec les modes de raisonnement de l'imitation d'action et du jeu de rôle, et réduire le coût d'utilisation du modèle.
• Technologie de reproduction de précisionL'utilisation de signaux squelettiques et de caractéristiques implicites pour les mouvements du corps et les expressions faciales, respectivement, ainsi que le module de reciblage des mouvements, permettent de reproduire avec précision les mouvements et les expressions, améliorant ainsi la qualité et le réalisme des vidéos générées.
• Optimisation de la fusion de la lumièreL'effet de fusion de lumière indépendant LoRA est conçu dans le mode de remplacement, ce qui garantit la cohérence de la lumière et de l'effet de fusion, rendant la vidéo générée plus naturelle et coordonnée visuellement.

Quel est le site officiel de Wan2.2-Animate ?

• Site web du projet: : https://humanaigc.github.io/wan-animate/
• Dépôt Github: : https://github.com/Wan-Video/Wan2.2
• Bibliothèque de modèles HuggingFace: : https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

Wan2.2 - Populations animales concernées

• créateur de contenuIl peut être utilisé pour générer rapidement des vidéos créatives, telles que des animations, des publicités, des vidéos courtes, etc., afin d'améliorer l'efficacité créative et la diversité du contenu.
• AnimateursLes personnages statiques peuvent être dotés d'effets dynamiques, ce qui simplifie le processus de production d'animation, réduit les coûts de production et améliore la qualité de l'animation.
• Amoureux de la danse et créateursLa possibilité de générer des modèles de danse personnalisés pour aider à créer un contenu vidéo de danse unique.
• passionné d'animeLa création animée de vos personnages d'anime préférés répond à vos besoins individuels et renforce le plaisir de la création.
• éducateurIl peut être utilisé pour créer des vidéos pédagogiques, par exemple pour démontrer des processus de mouvement complexes, afin d'améliorer l'efficacité et l'intérêt de l'enseignement.
• Personnel chargé de la publicité et du marketingLa capacité à générer rapidement des vidéos publicitaires attrayantes qui renforcent la créativité et l'attrait de la publicité.