RAIN：アニメ映像のビデオストリームを生成するためのリアルタイムの人間の表情のキャプチャ

はじめに

RAIN（Real-time Animation Of Infinite Video Stream）は、無限のビデオストリームに対してアニメーション効果をリアルタイムで生成できるように設計されたオープンソースプロジェクトである。Pscgylottiによって開発されたこのプロジェクトは、一般的なユーザーデバイスでのビデオ生成のためのソリューションを提供する。最新のディープラーニング技術を使用することで、RAINは、ユーザーがアップロードした画像に基づいて連続的なビデオストリームを生成することができ、アニメーション制作、ビデオエフェクトや他の分野に適用できます。

RAINはコンシューマーグレードのデバイスでリアルタイムアニメーションを制作する。

機能一覧

• アニメーションビデオをリアルタイムで生成
• ユーザー・デバイスでのビデオ生成のサポート
• 様々な訓練済みモデルと重みを提供
• TensorRTアクセラレーションのサポート
• グラディオのアプリケーション・インターフェースを提供する
• 複数のビデオ生成パラメーター調整に対応

ヘルプの使用

設置プロセス

1. Python >= 3.10 がインストールされていることを確認してください。
2. PyTorchの公式サイトからダウンロードできるPyTorch（推奨バージョン >= 2.3.0）をインストールする。
3. RAINプロジェクトリポジトリをクローンします：

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. 推論に必要な依存関係をインストールする：

   pip install -r requirements_inference.txt

使用プロセス

1. 事前に訓練されたモデルと重みをダウンロードする：
   • Google DriveまたはHuggingface HubからオリジナルのRAINウエイトをダウンロードし、それをウェイト/トーチカタログ
   • その他の必要なモデルファイルをダウンロードし、適切なディレクトリ（例えばウェイト).
2. Gradioアプリケーションを起動する：

   python gradio_app.py

ブラウザを開き、次のサイトにアクセスする。http://localhost:7860/任意のアニメキャラクターの上半身のポートレートをアップロードし、パラメータを調整し、顔のモーフィングを開始します。

3. ビデオ生成パラメーターを調整する：
   • Gradioのインターフェイスでは、最適なアニメーション効果を得るために、必要に応じて様々なパラメータを調整することができる。
   • 最適な顔の合成を確実にするために、目に関連するパラメーターの調整には特別な注意が払われている。

詳細機能

• ビデオストリームをリアルタイムで生成RAINは、ユーザーによってアップロードされた画像に基づいて、リアルタイムで連続的なビデオストリームを生成することができます。
• ユーザーがアップロードした画像のサポートユーザーは任意の画像をアップロードすることができ、RAINはその画像に基づいて対応するビデオストリームを生成します。
• 様々なビデオ生成パラメーターの調整が可能ユーザーは、最高のアニメーション効果を得るために、生成パラメータを調整することができます。
• TensorRTアクセラレーションのサポートTensorRTアクセラレーションを有効にすることで、RAINはモデルのコンパイルを短時間で完了し、推論速度を向上させることができます。
• トレーニング済みモデルをダウンロード可能ユーザーは、複数のプラットフォームから訓練済みモデルをダウンロードすることができます。
• 複数のディープラーニングフレームワークに対応RAINはPyTorchのような様々なディープラーニングフレームワークをサポートしており、二次開発を容易にします。

ハードウェア要件

• 推論デモ全体を実行するには、通常、約12GiBのデバイスRAMが必要だ。
• 合成モデルを単独で実行する場合、約8GiBのデバイスRAMを必要とする。

参考プロジェクト

RAINプロジェクトは、AnimateAnyone、Moore-AnimateAnyone、Open-AnimateAnyoneなど、複数のオープンソースプロジェクトをベースにしており、これらのプロジェクトの利点を組み合わせることで、効率的なリアルタイムアニメーション生成を実現しています。