VACE: modelo de código abierto para la creación y edición de vídeo (no abierto)

Introducción general

VACE es un proyecto de código abierto desarrollado por Alitongyi Visual Intelligence Lab (ali-vilab), centrado en la creación y edición de vídeo. Se trata de una herramienta todo en uno que integra diversas funciones, como la generación de vídeos basados en referencias, la edición de contenidos de vídeo existentes, las modificaciones de localización, etc. Lanzado oficialmente en marzo de 2025, el objetivo del proyecto es permitir a los usuarios completar complejas tareas de procesamiento de vídeo con un único modelo.Diseñado pensando en la flexibilidad y la eficiencia, VACE permite a los usuarios combinar funciones libremente, por lo que es adecuado para creadores, desarrolladores e incluso usuarios normales. Su código está alojado en GitHub, por lo que cualquiera puede descargarlo, estudiarlo o mejorarlo gratuitamente. El equipo que hay detrás cuenta con el sólido apoyo técnico de Ali y combina los últimos logros en inteligencia artificial y procesamiento de vídeo para ofrecer a los usuarios una plataforma de creación potente a la par que práctica.

Lista de funciones

• Vídeo de generación de referencia (R2V)Generación de nuevos contenidos de vídeo a partir de un clip de referencia dado (por ejemplo, una imagen o un clip de vídeo).
• Edición de vídeo a vídeo (V2V)Modificar el estilo general o el contenido de un vídeo existente, por ejemplo, ajustando el tono de color o sustituyendo el fondo.
• Edición de vídeo con máscara (MV2V): Admite la edición local, lo que permite a los usuarios seleccionar áreas específicas del vídeo para modificarlas con una máscara.
• control de movimientoAjusta la trayectoria de movimiento de los objetos en un vídeo, por ejemplo, haciendo que un personaje se mueva a una posición especificada.
• Sustitución del cuerpo principal: Sustituye un sujeto (como una persona o un objeto) en un vídeo por otra cosa.
• Ampliación de la pantallaExpande el fotograma de vídeo para generar fotogramas más allá de los límites originales.
• Generación de animaciónConvierte imágenes fijas en efectos de animación dinámicos.

Utilizar la ayuda

VACE es un proyecto de código abierto , principalmente para usuarios con cierta base técnica . No tiene una interfaz gráfica preparada y debe ejecutarse mediante código. La siguiente es una guía detallada para ayudarle a empezar rápidamente.

Proceso de instalación

1. Preparar el entorno
   • Asegúrate de que tienes Python 3.9 o superior instalado en tu ordenador. Puede hacerlo en la línea de comandos escribiendo python --version Compruébalo.
   • Instala la herramienta Git para descargar código de GitHub, disponible en git-scm.com para usuarios de Windows, o en git-scm.com para usuarios de Mac. brew install git Instalación.
   • Se requiere una GPU NVIDIA y soporte CUDA ya que VACE depende de la aceleración de la GPU. Si no tienes GPU, puedes probar el modo CPU, pero el rendimiento se verá degradado.
2. Descargar código
   • Abra un terminal (CMD o PowerShell para Windows, Terminal para Mac).
   • Introduzca el siguiente comando para clonar el repositorio VACE:

     git clone https://github.com/ali-vilab/VACE.git
     

   • Una vez finalizada la clonación, vaya a la carpeta del proyecto:

     cd VACE
     

3. Instalación de dependencias
   • VACE requiere el soporte de algunas librerías Python. Ejecute el siguiente comando para instalarlas:

     pip install -r requirements.txt
     

   • Si obtiene un error, compruebe su conexión de red o actualice su pip (utilizando la función pip install --upgrade pip).
   • Para los usuarios de GPU, asegúrese de instalar PyTorch y la versión CUDA correspondiente, por ejemplo:

     pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
     

4. Verificar la instalación
   • Una vez finalizada la instalación, ejecute un sencillo comando de prueba para confirmar que el entorno es correcto:

     python -c "import torch; print(torch.cuda.is_available())"
     

   • Si la devolución TrueSi es FalseSi no dispone de una instalación CUDA, es posible que tenga que comprobarla.

Cómo utilizarlo

El funcionamiento de VACE se realiza principalmente a través de la línea de comandos, donde el usuario necesita escribir archivos de configuración y ejecutar scripts de Python. A continuación se muestra un flujo detallado de las principales funciones.

Función 1: Vídeo de generación de referencia (R2V)

• mover
  1. Prepara material de referencia, como una imagen (JPG, PNG) o un vídeo (formato MP4).
  2. Crear un archivo de configuración, por ejemplo config_r2v.yamlEl contenido hace referencia a los ejemplos de GitHub (normalmente se encuentran en la sección configs (carpeta). El archivo de configuración especifica la ruta de entrada y los parámetros de salida, como la resolución, la frecuencia de imagen, etc.
  3. Ejecute el comando en el terminal:

     python inference.py --cfg config_r2v.yaml
     

  4. El vídeo generado se guarda en la carpeta de salida especificada (por defecto es output (carpeta).
• ejemplo típico
  • Introduzca en el archivo de configuración una imagen de un niño pequeño con una descripción: "Niño pequeño corriendo hacia la derecha bajo el sol". Cuando se ejecuta, VACE genera un vídeo del niño corriendo.

Función 2: Edición de vídeo a vídeo (V2V)

• mover
  1. Preparar un vídeo que necesite ser editado, como por ejemplo input.mp4.
  2. Editar archivo de configuración config_v2v.yamlSi desea cambiar el fondo a pradera, establezca el objetivo de la edición, por ejemplo, "Cambiar el fondo a pradera".
  3. Ejecutar comando:

     python inference.py --cfg config_v2v.yaml
     

  4. El vídeo editado se guardará automáticamente.
• ejemplo típico
  • Introduzca un vídeo de una calle de la ciudad, el archivo de configuración dice "Reemplazar fondo por bosque", el resultado es un personaje caminando por el bosque.

Función 3: Edición de vídeo con máscara (MV2V)

• mover
  1. Prepare el vídeo y el archivo de máscara (la máscara es una imagen en blanco y negro, la zona blanca indica la parte de edición).
  2. En el archivo de configuración config_mv2v.yaml Especifique la ruta del vídeo y la ruta de la máscara en la sección "Máscara", y establezca el contenido de edición, como "Sustituir el área de la máscara por un león".
  3. Ejecutar comando:

     python inference.py --cfg config_mv2v.yaml
     

  4. Visualice los resultados y la zona enmascarada será sustituida.
• ejemplo típico
  • Entra en el vídeo de la cafetería, selecciona las tazas sobre la mesa en la máscara, sustitúyelas por "un gatito", el resultado es que aparece el gato sobre la mesa.

Función 4: Control de Movimiento y Sustitución de Sujetos

• mover
  1. Prepara un vídeo y una descripción de la acción objetivo, por ejemplo: "Haz que el caballo corra hacia la izquierda".
  2. Establezca los parámetros de la acción o sustituya el cuerpo (por ejemplo, "caballo sustituido por vaca") en el archivo de configuración.
  3. Ejecute el comando para generar un nuevo vídeo.
• ejemplo típico
  • Introducir vídeo de equitación, poner "Caballo corriendo a la derecha, sustituir por jinete de pelo morado", el resultado es un jinete de pelo morado corriendo a la derecha sobre un caballo.

Precauciones de manipulación

• Formato del archivo de configuración: Los archivos YAML son estrictos, vigile la sangría y la sintaxis.
• requisitos de hardwareSe recomiendan GPU con al menos 12 GB de RAM; de lo contrario, es posible que tengas que ajustar los parámetros para reducir el consumo de memoria.
• Consejos de depuraciónSi algo va mal, compruebe los registros del terminal, los problemas más comunes son errores de ruta o dependencias que faltan.
• Apoyo comunitarioPuedes hacer preguntas en la página de problemas de GitHub, y los desarrolladores y la comunidad te ayudarán a responderlas.

Con estos pasos, podrás crear y editar vídeos fácilmente con VACE. Su potencia reside en su flexibilidad, que te permite realizar una amplia gama de ideas creativas siempre que estés familiarizado con la configuración.