Go-with-the-Flow：控制视频中物体的运动轨迹，视频中增减任何运动物体

综合介绍

Go-with-the-Flow 是一个由 Netflix Eyeline Studios 研究团队开发的开源项目，旨在通过扭曲噪声控制视频扩散模型的运动模式。该项目允许用户决定场景中相机和物体的运动方式，甚至可以将一个视频的运动模式转移到另一个视频中。Go-with-the-Flow 通过微调基础模型实现这一目标，而无需更改原始管道或架构。该项目的代码和模型均为开源，用户可以自由使用和修改。

ComfyUI节点：https://github.com/kijai/ComfyUI-VideoNoiseWarp

功能列表

• 剪切和拖动运动控制：用户可以通过剪切图像的不同部分并拖动它们来创建视频。
• 视频扩散：将粗略动画转换为精美动画，需使用 GPU。
• 噪声扭曲：使用扭曲噪声代替纯高斯噪声，以实现更自然的运动效果。
• 运动模式转移：将一个视频的运动模式应用到另一个视频中。
• 图形用户界面 (GUI)：提供本地 GUI 以便用户创建动画。
• 开源代码：所有代码和模型均为开源，用户可以自由访问和修改。

使用帮助

安装流程

1. 克隆仓库：

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow

2. 安装本地依赖：

   pip install -r requirements_local.txt

3. 运行 GUI：

   python cut_and_drag_gui.py

按照 GUI 中的指示完成操作，生成的 MP4 文件需要转移到具有 GPU 的计算机上继续处理。

使用流程

1. 在具有 GPU 的计算机上克隆仓库并安装依赖：

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow
pip install -r requirements.txt

2. 扭曲噪声：

   python make_warped_noise.py <视频路径或 URL> --output_folder noise_warp_output_folder

3. 运行推理：

   python cut_and_drag_inference.py noise_warp_output_folder \
--prompt "A duck splashing" \
--output_mp4_path "output.mp4" \
--device "cuda" \
--num_inference_steps 5

根据需要调整文件夹路径、提示词和其他超参数。输出将保存为 output.mp4。

主要功能操作

• 剪切和拖动运动控制：在 GUI 中选择图像的不同部分并拖动它们以创建粗略动画。
• 视频扩散：将粗略动画文件转移到具有 GPU 的计算机上，运行推理脚本生成精美动画。
• 噪声扭曲：使用 make_warped_noise.py 脚本生成扭曲噪声，以实现更自然的运动效果。
• 运动模式转移：通过调整提示词和超参数，将一个视频的运动模式应用到另一个视频中。

详细操作流程

1. 剪切和拖动：在 GUI 中加载图像，使用鼠标选择并拖动图像的不同部分，创建粗略动画。
2. 生成扭曲噪声：在具有 GPU 的计算机上运行 make_warped_noise.py 脚本，生成扭曲噪声文件。
3. 运行推理：使用 cut_and_drag_inference.py 脚本，将粗略动画转换为精美动画，输出为 MP4 文件。
4. 调整参数：根据需要调整提示词、超参数和文件路径，以获得最佳效果。

通过以上步骤，用户可以轻松创建和控制视频的运动模式，实现高质量的视频生成和动画制作。