Wan2.2-Animate - Ein generatives Modell zur Handlungserzeugung des Tongyi Wanxiang Open Source

Wan2.2-Was ist Animate?

Wan2.2-Animate ist ein Open-Source-Action-Generierungsmodell von Tongyi Wanxiang, das zwei Modi unterstützt: Action-Imitation und Rollenspiel. Benutzer müssen nur ein Charakterbild und ein Referenzvideo eingeben, das Modell kann die Aktion und den Ausdruck des Charakters im Video auf den Bildcharakter übertragen, was dem Bildcharakter einen dynamischen Ausdruck verleiht. Das Modell kann die Figur im Video durch die Figur im Bild ersetzen, wobei die Bewegung, der Ausdruck und die Umgebung des Originalvideos erhalten bleiben. Das Modell unterstützt fahrende Charaktere, Animationsbilder und Tierfotos, die bei der Erstellung von Kurzvideos, der Erzeugung von Tanzvorlagen, der Produktion von Animationen und anderen Bereichen eingesetzt werden können. Ein umfangreicher Datensatz von Charaktervideos, der Sprache, Gesichtsausdruck und Körperbewegungen umfasst, wird erstellt, und durch Post-Training auf der Grundlage des Tongyi Wanxiang Tuyong-Videomodells wird die Kompatibilität eines einzigen Modells mit zwei Inferenzmodi zur gleichen Zeit erreicht. Skelettsignale und implizite Merkmale werden für Körperbewegungen bzw. Gesichtsausdrücke zusammen mit dem Aktionsumleitungsmodul verwendet, um eine genaue Replikation von Bewegungen und Ausdrücken zu erreichen.

Funktionsmerkmale von Wan2.2-Animate

• Bewegung und Ausdruck MigrationDurch die Eingabe von Charakterbildern und Referenzvideos können Sie die Bewegungen und Ausdrücke der Video-Charaktere auf die Bild-Charaktere übertragen und den Bild-Charakteren eine dynamische Ausdruckskraft verleihen.
• Zeichen-ErsetzungErsetzen Sie die Zeichen im Video durch die Zeichen im Bild, wobei die Bewegung, der Ausdruck und die Umgebung des Originalvideos erhalten bleiben.
• Unterstützung mehrerer RollentypenKann Charaktere, Anime-Bilder und Tierfotos für eine breite Palette von Anwendungen fahren.
• Aufbau eines großen DatensatzesEin großer Datensatz von Charaktervideos, der Sprache, Gesichtsausdrücke und Körperbewegungen umfasst, um die Modellleistung zu verbessern.
• Harmonisiertes PräsentationsformatStandardisierung von Rolleninformationen, Umgebungsinformationen und Aktionen in einem einheitlichen Darstellungsformat, um ein einziges Modell zu erhalten, das mit beiden Inferenzmodi kompatibel ist.
• genaue ReproduktionFür Körperbewegungen und Gesichtsausdrücke werden Skelettsignale bzw. implizite Merkmale zusammen mit einem Motion-Retargeting-Modul verwendet, um eine genaue Nachbildung von Bewegungen und Ausdrücken zu erreichen.
• LichtfusionseffektIm Replacement Mode sorgt ein separater Lichtfusions-LoRA für eine perfekte Lichtfusion.

Die wichtigsten Vorteile von Wan2.2-Animate

• Effiziente BewegungsmigrationDie Bewegung und der Ausdruck im Referenzvideo können mit einem natürlichen und sanften Migrationseffekt genau auf das Zielbild übertragen werden, wodurch die statische Figur einen lebendigen und dynamischen Ausdruck erhält.
• Integration der Umwelt in die NaturWenn die Figuren ersetzt werden, können die Bewegungen, Ausdrücke und Umgebungsinformationen des Originalvideos perfekt beibehalten werden, um die natürliche Integration der Figuren und des Hintergrunds zu realisieren und das unnatürliche Gefühl der Unvereinbarkeit zu vermeiden.
• Multi-Rollen-Typ-AnpassungUnterstützt eine breite Palette von Zeichentypen wie Charaktere, Anime-Figuren und Tiere, mit einer breiten Anwendbarkeit, um die kreativen Bedürfnisse verschiedener Bereiche zu erfüllen.
• Unterstützung umfangreicher DatensätzeTraining: Das Training basiert auf einem großen Datensatz von Charaktervideos, der Sprache, Gesichtsausdrücke und Körperbewegungen umfasst, mit reichhaltigen und vielfältigen Daten, die dem Modell stärkere Lern- und Generalisierungsfähigkeiten verleihen.
• ein einziges Modell mit mehreren ModiStandardisierung von Charakterinformationen, Umgebungsinformationen und Aktionen in einem einheitlichen Darstellungsformat, Realisierung eines einzigen Modells, das sowohl mit Handlungsimitation als auch mit Rollenspielen kompatibel ist, und Reduzierung der Kosten für die Verwendung des Modells.
• Präzise ReproduktionstechnologieDie Verwendung von Skelettsignalen und impliziten Merkmalen für Körperbewegungen bzw. Gesichtsausdrücke zusammen mit dem Motion-Retargeting-Modul kann Bewegungen und Ausdrücke genau nachbilden und die Qualität und den Realismus der erzeugten Videos verbessern.
• Optimierung der LichtfusionEin unabhängiger Lichtfusions-LoRA wurde im Ersatzmodus entwickelt, der die Konsistenz des Lichts und des Fusionseffekts sicherstellt, wodurch das erzeugte Video natürlicher und visuell koordinierter wirkt.

Was ist die offizielle Website von Wan2.2-Animate?

• Projekt-Website:: https://humanaigc.github.io/wan-animate/
• Github-Repositorien:: https://github.com/Wan-Video/Wan2.2
• HuggingFace-Modellbibliothek:: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

Wan2.2 - Anwendbare Populationen von Tieren

• Ersteller von InhaltenEs kann zur schnellen Erstellung kreativer Videos wie Animationen, Werbespots, Kurzvideos usw. verwendet werden, um die kreative Effizienz und inhaltliche Vielfalt zu steigern.
• AnimateureStatische Figuren können mit dynamischen Effekten versehen werden, was den Produktionsprozess von Animationen vereinfacht, die Produktionskosten senkt und die Qualität der Animationen verbessert.
• Tanzliebhaber und -schaffendeDie Möglichkeit, personalisierte Tanzvorlagen zu erstellen, um einzigartige Tanzvideos zu erstellen.
• Anime-FanDie animierte Gestaltung Ihrer Lieblings-Anime-Figuren erfüllt Ihre individuellen Bedürfnisse und erhöht den Spaß an der Gestaltung.
• ErzieherinEs kann zur Erstellung von Lehrvideos verwendet werden, z. B. zur Demonstration komplexer Bewegungsabläufe, um die Effektivität und das Interesse des Unterrichts zu steigern.
• Personal für Werbung und MarketingDie Fähigkeit, schnell ansprechende Werbevideos zu erstellen, die die Kreativität und Attraktivität der Werbung steigern.