Wan2.2-Animate - 同義万象のアクション生成モデルオープンソース

Wan2.2-アニメイトとは？

Wan2.2-AnimateはTongyi Wanxiangのオープンソースアクション生成モデルで、アクション模倣とロールプレイの2つのモードをサポートしています。ユーザーはキャラクター画像と参照ビデオを入力するだけで、モデルはビデオ内のキャラクターのアクションと表情を画像キャラクターに移行し、画像キャラクターに動的な表現を与えることができます。元動画の動きや表情、環境を保持したまま、動画内のキャラクターを画像内のキャラクターに置き換えることができます。このモデルは、走行キャラクター、アニメーション画像、動物写真に対応しており、ショートビデオ作成、ダンステンプレート生成、アニメーション制作などに応用できる。発話、表情、体の動きをカバーする大規模なキャラクター映像データセットを構築し、Tongyi Wanxiang Tuyong映像モデルに基づいてポストトレーニングを行うことで、1つのモデルで同時に2つの推論モードの両立を実現した。骨格信号と暗黙的特徴量をそれぞれ体の動きと表情に用い、行動リダイレクションモジュールと組み合わせることで、動きと表情の正確な再現を実現する。

Wan2.2-Animateの機能的特徴

移動と表現移住キャラクター画像と参考動画を入力することで、動画キャラクターの動きや表情を画像キャラクターに移行させることができ、画像キャラクターにダイナミックな表現力を与えることができます。
キャラクター交換元映像の動きや表情、環境をそのままに、映像のキャラクターを写真のキャラクターに置き換える。
複数の役割タイプをサポートキャラクター、アニメ画像、動物写真など幅広い用途に対応。
大規模データセットの構築発話、表情、体の動きを含む大規模なキャラクタービデオデータセットを用いて、モデルのパフォーマンスを向上。
統一されたプレゼンテーション・フォーマット役割情報、環境情報、アクションを統一的な表現形式に統一し、両方の推論モードに対応する単一のモデルを実現する。
正確な再現身体の動きと顔の表情には、それぞれ骨格信号と暗黙的特徴量を使用し、モーションリターゲティングモジュールと組み合わせることで、動きと表情の正確な再現を実現しています。
光の融合効果リプレイスメント・モードでは、完璧な光融合を確実にするために、光融合のためのLoRAが別に設計されています。

Wan2.2-Animateの主な利点

効率的なモーション・マイグレーションリファレンス映像の動きや表情を、自然で滑らかなマイグレーション効果でターゲットキャラクター映像に正確にマイグレーションすることができ、静的なキャラクターに生き生きとしたダイナミックな表情を与えることができる。
自然との環境統合キャラクターが入れ替わっても、元の映像の動きや表情、環境情報は完全に保持されるため、キャラクターと背景の自然な一体感を実現し、不自然な違和感を回避することができる。
マルチロール・タイプの適応キャラクター、アニメ画像、動物など、幅広いキャラクタータイプに対応し、各分野のクリエイティブニーズに幅広く対応します。
大規模データセットのサポートトレーニングは、発話、表情、体の動きを含む大規模なキャラクタービデオデータセットに基づいており、豊富で多様なデータにより、モデルに強力な学習能力と汎化能力を与えています。
複数のモードを持つ単一モデルキャラクター情報、環境情報、アクションを統一的な表現形式に統一し、アクション模倣とロールプレイングの両方の推論モードに対応する単一のモデルを実現し、モデルの使用コストを削減する。
精密再生技術骨格信号と暗黙的特徴量をそれぞれ体の動きと顔の表情に使用し、モーションリターゲティングモジュールと組み合わせることで、動きと表情を正確に再現することができ、生成された動画の品質とリアリズムを向上させることができます。
光融合の最適化独立したライト・フュージョンLoRAは、リプレイスメント・モードで設計されており、効果的に光とフュージョン効果の一貫性を確保し、生成された映像をより自然で視覚的に調整します。

Wan2.2-アニメイトの公式ウェブサイトは？

プロジェクトのウェブサイト:: https://humanaigc.github.io/wan-animate/
Githubリポジトリ:: https://github.com/Wan-Video/Wan2.2
HuggingFaceモデルライブラリ:: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

Wan2.2-アニメーションの適用集団

コンテンツクリエーターアニメーション、広告、ショートビデオなど、クリエイティブなビデオを素早く生成し、クリエイティブの効率とコンテンツの多様性を高めることができます。
アニメーター静的なキャラクターに動的な効果を与えることができ、アニメーション制作プロセスを簡素化し、制作コストを削減し、アニメーションの質を向上させます。
ダンス愛好家、クリエイターパーソナライズされたダンス・テンプレートを作成し、ユニークなダンス・ビデオ・コンテンツの作成に役立てることができます。
アニメマニア好きなアニメのキャラクターをアニメーション化することで、それぞれのニーズに応え、創作の楽しみを広げる。
教育者複雑な動作のデモンストレーションなど、指導効果を高め、興味を持たせるための指導用ビデオを作成することができます。
広告・マーケティング・スタッフ広告の創造性と訴求力を高める、魅力的な広告ビデオを素早く作成する能力。