VACE：视频创作和编辑的开源模型（未开放）

综合介绍

VACE 是由阿里通义视觉智能实验室（ali-vilab）开发的一个开源项目，专注于视频创作与编辑。它是一个全能型工具，集成了多种功能，比如根据参考生成视频、编辑已有视频内容、本地化修改等。项目于 2025 年 3 月正式发布，目标是让用户通过一个模型就能完成复杂的视频处理任务。VACE 的设计理念是灵活性和高效性，支持用户自由组合功能，适合创作者、开发者甚至普通用户使用。它的代码托管在 GitHub 上，任何人都可以免费下载、研究或改进。背后团队依托阿里强大的技术支持，结合了人工智能和视频处理的最新成果，为用户提供了一个强大又实用的创作平台。

功能列表

• 参考生成视频（R2V）: 根据给定的参考素材（如图片或视频片段）生成全新视频内容。
• 视频到视频编辑（V2V）: 对已有视频进行整体风格或内容的修改，比如调整色调、替换背景。
• 蒙版视频编辑（MV2V）: 支持局部编辑，用户可以用蒙版选择视频中的特定区域进行修改。
• 动作控制: 调整视频中物体的运动轨迹，比如让角色移动到指定位置。
• 主体替换: 将视频中的某个主体（如人或物体）替换成其他内容。
• 画面扩展: 扩展视频画幅，生成超出原始边界的画面。
• 动画生成: 将静态图像转化为动态动画效果。

使用帮助

VACE 是一个开源项目，主要面向有一定技术基础的用户。它没有现成的图形界面，需要通过代码运行。以下是详细的使用指南，帮助你快速上手。

安装流程

1. 准备环境
   • 确保你的电脑安装了 Python 3.9 或以上版本。可以在命令行输入 python --version 检查。
   • 安装 Git 工具，用于从 GitHub 下载代码。Windows 用户可从 git-scm.com 下载，Mac 用户可用 brew install git 安装。
   • 需要 NVIDIA GPU 和 CUDA 支持，因为 VACE 依赖 GPU 加速。如果没有 GPU，可以尝试 CPU 模式，但性能会下降。
2. 下载代码
   • 打开终端（Windows 用 CMD 或 PowerShell，Mac 用 Terminal）。
   • 输入以下命令克隆 VACE 仓库：

     git clone https://github.com/ali-vilab/VACE.git
     

   • 克隆完成后，进入项目文件夹：

     cd VACE
     

3. 安装依赖
   • VACE 需要一些 Python 库支持。运行以下命令安装：

     pip install -r requirements.txt
     

   • 如果有报错，检查网络连接或更新 pip（用 pip install --upgrade pip）。
   • 对于 GPU 用户，确保安装 PyTorch 和对应的 CUDA 版本，比如：

     pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
     

4. 验证安装
   • 安装完成后，运行一个简单的测试命令确认环境无误：

     python -c "import torch; print(torch.cuda.is_available())"
     

   • 如果返回 True，说明 GPU 支持正常；如果是 False，可能需要检查 CUDA 安装。

如何使用

VACE 的操作主要通过命令行完成，用户需要编写配置文件并运行 Python 脚本。以下是主要功能的详细操作流程。

功能 1：参考生成视频（R2V）

• 步骤
  1. 准备参考素材，比如一张图片（格式支持 JPG、PNG）或一段视频（MP4 格式）。
  2. 创建配置文件，例如 config_r2v.yaml，内容参考 GitHub 上的示例（通常在 configs 文件夹）。配置文件中指定输入路径和输出参数，比如分辨率、帧数等。
  3. 在终端运行命令：

     python inference.py --cfg config_r2v.yaml
     

  4. 生成的视频会保存在指定输出文件夹（默认是 output 文件夹）。
• 示例
  • 输入一张小男孩的图片，配置文件中写上描述：“小男孩在阳光下跑向右边”。运行后，VACE 会生成一段男孩跑动的视频。

功能 2：视频到视频编辑（V2V）

• 步骤
  1. 准备一段需要编辑的视频，比如 input.mp4。
  2. 编辑配置文件 config_v2v.yaml，设置编辑目标，比如“将背景改为草原”。
  3. 运行命令：

     python inference.py --cfg config_v2v.yaml
     

  4. 编辑后的视频会自动保存。
• 示例
  • 输入一段城市街头视频，配置文件中写“背景替换为森林”，结果是人物在森林中行走。

功能 3：蒙版视频编辑（MV2V）

• 步骤
  1. 准备视频和蒙版文件（蒙版是黑白图片，白色区域表示编辑部分）。
  2. 在配置文件 config_mv2v.yaml 中指定视频路径和蒙版路径，设置编辑内容，比如“将蒙版区域替换为狮子”。
  3. 运行命令：

     python inference.py --cfg config_mv2v.yaml
     

  4. 查看结果，蒙版区域会被替换。
• 示例
  • 输入咖啡店视频，蒙版选中桌子上的杯子，替换为“一只小猫”，结果是猫咪出现在桌子上。

功能 4：动作控制与主体替换

• 步骤
  1. 准备视频和目标动作描述，比如“让马向左跑”。
  2. 在配置文件中设置动作参数或替换主体（比如“马替换为牛”）。
  3. 运行命令生成新视频。
• 示例
  • 输入骑马视频，设置“马向右跑，替换为紫发骑士”，结果是紫发骑士骑马向右跑。

操作注意事项

• 配置文件格式：YAML 文件很严格，注意缩进和语法。
• 硬件要求：建议至少 12GB 显存的 GPU，否则可能需要调整参数减少内存占用。
• 调试技巧：如果出错，查看终端日志，常见问题是路径错误或依赖缺失。
• 社区支持：可以在 GitHub 的 Issues 页面提问，开发者和社区会帮忙解答。

通过以上步骤，你可以轻松使用 VACE 完成视频创作和编辑。它的强大之处在于灵活性，只要熟悉配置，就能实现各种创意想法。