VACE: modelo de código abierto para la creación y edición de vídeo (no abierto)

Últimos recursos sobre IAPublicado hace 5 meses Círculo de intercambio de inteligencia artificial

1.6K 00

Introducción general

VACE 是由阿里通义视觉智能实验室（ali-vilab）开发的一个开源项目，专注于视频创作与编辑。它是一个全能型工具，集成了多种功能，比如根据参考生成视频、编辑已有视频内容、本地化修改等。项目于 2025 年 3 月正式发布，目标是让用户通过一个模型就能完成复杂的视频处理任务。VACE 的设计理念是灵活性和高效性，支持用户自由组合功能，适合创作者、开发者甚至普通用户使用。它的代码托管在 GitHub 上，任何人都可以免费下载、研究或改进。背后团队依托阿里强大的技术支持，结合了人工智能和视频处理的最新成果，为用户提供了一个强大又实用的创作平台。

Lista de funciones

参考生成视频（R2V）: 根据给定的参考素材（如图片或视频片段）生成全新视频内容。
视频到视频编辑（V2V）: 对已有视频进行整体风格或内容的修改，比如调整色调、替换背景。
蒙版视频编辑（MV2V）: 支持局部编辑，用户可以用蒙版选择视频中的特定区域进行修改。
动作控制: 调整视频中物体的运动轨迹，比如让角色移动到指定位置。
主体替换: 将视频中的某个主体（如人或物体）替换成其他内容。
Ampliación de la pantalla: 扩展视频画幅，生成超出原始边界的画面。
Generación de animación: 将静态图像转化为动态动画效果。

Utilizar la ayuda

VACE 是一个开源项目，主要面向有一定技术基础的用户。它没有现成的图形界面，需要通过代码运行。以下是详细的使用指南，帮助你快速上手。

Proceso de instalación

Preparar el entorno
- 确保你的电脑安装了 Python 3.9 或以上版本。可以在命令行输入 python --version Compruébalo.
- 安装 Git 工具，用于从 GitHub 下载代码。Windows 用户可从 git-scm.com 下载，Mac 用户可用 brew install git Instalación.
- 需要 NVIDIA GPU 和 CUDA 支持，因为 VACE 依赖 GPU 加速。如果没有 GPU，可以尝试 CPU 模式，但性能会下降。
Descargar código
- 打开终端（Windows 用 CMD 或 PowerShell，Mac 用 Terminal）。
- 输入以下命令克隆 VACE 仓库：
```
git clone https://github.com/ali-vilab/VACE.git
```
- 克隆完成后，进入项目文件夹：
```
cd VACE
```
Instalación de dependencias
- VACE 需要一些 Python 库支持。运行以下命令安装：
```
pip install -r requirements.txt
```
- 如果有报错，检查网络连接或更新 pip（用 pip install --upgrade pip).
- 对于 GPU 用户，确保安装 PyTorch 和对应的 CUDA 版本，比如：
```
pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
```
Verificar la instalación
- 安装完成后，运行一个简单的测试命令确认环境无误：
```
python -c "import torch; print(torch.cuda.is_available())"
```
- Si la devolución True，说明 GPU 支持正常；如果是 False，可能需要检查 CUDA 安装。

Cómo utilizarlo

VACE 的操作主要通过命令行完成，用户需要编写配置文件并运行 Python 脚本。以下是主要功能的详细操作流程。

功能 1：参考生成视频（R2V）

mover
1. 准备参考素材，比如一张图片（格式支持 JPG、PNG）或一段视频（MP4 格式）。
2. 创建配置文件，例如 config_r2v.yaml，内容参考 GitHub 上的示例（通常在 configs 文件夹）。配置文件中指定输入路径和输出参数，比如分辨率、帧数等。
3. 在终端运行命令：
```
python inference.py --cfg config_r2v.yaml
```
4. 生成的视频会保存在指定输出文件夹（默认是 output (carpeta).
ejemplo típico
- 输入一张小男孩的图片，配置文件中写上描述：“小男孩在阳光下跑向右边”。运行后，VACE 会生成一段男孩跑动的视频。

功能 2：视频到视频编辑（V2V）

mover
1. 准备一段需要编辑的视频，比如 input.mp4.
2. Editar archivo de configuración config_v2v.yaml，设置编辑目标，比如“将背景改为草原”。
3. Ejecutar comando:
```
python inference.py --cfg config_v2v.yaml
```
4. 编辑后的视频会自动保存。
ejemplo típico
- 输入一段城市街头视频，配置文件中写“背景替换为森林”，结果是人物在森林中行走。

功能 3：蒙版视频编辑（MV2V）

mover
1. 准备视频和蒙版文件（蒙版是黑白图片，白色区域表示编辑部分）。
2. 在配置文件 config_mv2v.yaml 中指定视频路径和蒙版路径，设置编辑内容，比如“将蒙版区域替换为狮子”。
3. Ejecutar comando:
```
python inference.py --cfg config_mv2v.yaml
```
4. 查看结果，蒙版区域会被替换。
ejemplo típico
- 输入咖啡店视频，蒙版选中桌子上的杯子，替换为“一只小猫”，结果是猫咪出现在桌子上。