Go-with-the-Flow：ビデオ内のオブジェクトの動きをコントロールし、ビデオ内の動くオブジェクトを加算または減算します。

はじめに

Go-with-the-Flowは、Netflix Eyeline Studiosの研究チームによって開発されたオープンソースプロジェクトで、ノイズを歪ませることによってビデオ拡散モデルのモーションパターンを制御します。Go-with-the-Flowは、オリジナルのパイプラインやアーキテクチャを変更することなく、基礎となるモデルを微調整することでこれを実現しています。Go-with-the-Flowは、元のパイプラインやアーキテクチャを変更することなく、基礎となるモデルを微調整することでこれを実現しています。プロジェクトのコードとモデルはオープンソースであり、ユーザーが自由に使用・変更することができます。

ComfyUI ノード：https://github.com/kijai/ComfyUI-VideoNoiseWarp

機能一覧

• せん断とドラッグのモーションコントロール画像のさまざまな部分を切り取ってドラッグすることで、ビデオを作成することができます。
• ビデオの普及ラフなアニメーションを美しいアニメーションに変換するには、GPUを使う必要があります。
• 雑音歪み純粋なガウスノイズの代わりに歪んだノイズを使うことで、より自然な動きが得られます。
• モーション・モード・シフトある動画から別の動画にモーションパターンを適用する。
• グラフィカル・ユーザー・インターフェース（GUI）ユーザーが作成したアニメーションのネイティブGUIを提供します。
• オープンソースすべてのコードとモデルはオープンソースであり、ユーザーが自由にアクセスして変更することができます。

ヘルプの使用

設置プロセス

1. クローン倉庫

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd ゴーウィズザフロー

2. ローカルの依存関係をインストールします：

   pip install -r requirements_local.txt

3. GUIを実行する：

   python cut_and_drag_gui.py

GUIの指示に従って操作を完了し、生成されたMP4ファイルをGPUを搭載したコンピュータに転送してさらに処理する必要があります。

使用プロセス

1. リポジトリをクローンし、GPUのあるコンピュータに依存関係をインストールする：

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd ゴーウィズザフロー
pip install -r requirements.txt

2. 歪曲ノイズ：

   python make_warped_noise.py  --output_folder noise_warp_output_folder

3. 走る推理：

   python cut_and_drag_inference.py noise_warp_output_folder  \
--prompt "A duck splashing" ￤プロンプト "アヒルの水しぶき
--output_mp4_path "output.mp4" ￤デバイス "cuda
--device "cuda"
--num_inference_steps 5

必要に応じて、フォルダパス、キューワード、その他のハイパーパラメータを調整する。出力は 出力.mp4.

主な機能

• せん断とドラッグのモーションコントロールGUI上で、画像のさまざまな部分を選択し、それらをドラッグすることで、大まかなアニメーションを作成することができます。
• ビデオの普及ラフなアニメーションファイルをGPU搭載のコンピュータに転送し、推論スクリプトを実行して美しいアニメーションを生成します。
• 雑音歪み使用 make_warped_noise.py このスクリプトは、より自然なモーションエフェクトのためにディストーションノイズを生成します。
• モーション・モード・シフトキューとハイパーパラメータを調整することによって、あるビデオから別のビデオにモーションパターンを適用する。

詳しい操作手順

1. カット＆ドラッグGUIで画像を読み込み、マウスで画像の様々な部分を選択してドラッグすることで、大まかなアニメーションを作成することができます。
2. 歪んだノイズを発生させるGPUを搭載したコンピューターで動作します。 make_warped_noise.py 歪みノイズファイルを生成するスクリプト。
3. 走り推理使用 cut_and_drag_inference.py 荒いアニメーションを美しいアニメーションに変換してMP4ファイルに出力するスクリプト。
4. 調整パラメーター最良の結果が得られるように、キュー、ハイパーパラメータ、ファイルパスを必要に応じて調整します。

以上の手順で、ユーザーは簡単にビデオのモーションパターンを作成・制御し、高品質のビデオ生成とアニメーションを行うことができる。