薄板-スプライン-モーションモデル：静的ポートレートマップ参考動画 ポートレートモーション生成動画

はじめに

Thin-Plate-Spline-Motion-Modelは、CVPR2022で発表された画期的な画像アニメーション生成プロジェクトである。このプロジェクトは、薄板スプライン変換の理論に基づいており、走行映像に基づく静止画像の高品質なアニメーションを可能にする。このプロジェクトでは、エンドツーエンドの教師なし学習フレームワークを採用しており、特に、元画像と走行映像の間に大きなポーズの違いがある状況への対処に優れている。細いスプラインの動き推定と多重解像度マスキングの革新的な導入により、このモデルはより自然で滑らかなアニメーション効果を生成することができる。このプロジェクトは、完全なコード実装をオープンソース化するだけでなく、事前に訓練されたモデルとオンラインデモを提供し、研究者や開発者が簡単に技術を再現して適用できるようにしている。

広報担当者が退職した場合はどうなりますか？広報担当者の画像を残しておき、他の人にビデオを録画してもらうことで、広報担当者の画像が録画されたビデオの動作を真似てビデオを生成することができます。

機能一覧

• 静止画像アニメーション生成
• 複数のデータセット（VoxCeleb、TaiChi-HD、TED-talksなど）のトレーニングをサポート。
• トレーニング済みモデルをダウンロード可能
• ウェブベースのオンラインプレゼンテーションのサポート（Hugging Face Spacesとの統合）
• オンラインでGoogle Colabをサポート
• マルチGPUトレーニングに対応
• AVD（アドバンスト・ビデオ・デコーダー）ネットワーク・トレーニング機能の提供
• 映像再構成評価関数
• Python APIコールのサポート
• Docker環境のサポート

ヘルプの使用

1.環境構成

このプロジェクトにはPython 3.x環境（Python 3.9を推奨）が必要で、インストール手順は以下の通り：

1. クローン・プロジェクト・ウェアハウス

git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git
cd Thin-Plate-Spline-Motion-Model

2. 依存関係をインストールします：

pip install -r requirements.txt

2.データの準備

このプロジェクトは複数のデータセットをサポートしている：

• MGifデータセット：入手するにはMonkey-Netプロジェクトを参照。
• TaiChiHDおよびVoxCelebデータセット：ビデオ前処理ガイドラインによる処理
• TED-talksデータセット：MRAAプロジェクトのガイドラインに従う。

前処理データセットのダウンロード（例としてVoxCeleb）：

# ダウンロードし、マージして解凍する。
cat vox.tar.* > vox.tar
tar xvf vox.tar

3.モデルトレーニング

基本的なトレーニング命令

CUDA_VISIBLE_DEVICES=0,1 python run.py --config config/dataset_name.yaml --device_ids 0,1

AVDネットワークのトレーニング：

CUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}/checkpoint.pth.tar' --config config/dataset_name.yaml

4.映像再構成評価

CUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config/dataset_name.yaml --checkpoint '{checkpoint_folder}/checkpoint.pth.tar'

5.グラフィック・アニメーション・プレゼンテーション

様々な使い方を提案：

1. ジュピター・ノートブック：demo.ipynbを使う
2. Pythonのコマンドライン：

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4

3. ウェブデモ：
   • インタビューハギング・フェイス・スペースオンラインデモ
   • 利用する複製プラットフォームのウェブ・デモ
   • とおすグーグルコラボうごきだす

6.事前学習モデルの獲得

複数のダウンロードソースが用意されている：

• グーグルドライブ
• ヤンデックスディスク
• Baidu.com（抽出コード：1234）

7.注意事項

• より良い結果を得るためには、より多くのデータと長いトレーニングサイクルでトレーニングすることをお勧めします。
• 十分なGPUメモリを確保する
• 前処理済みのデータセットをトレーニングに使用することをお勧めします。