Go-with-the-Flow: Controla el movimiento de los objetos en el vídeo, añadiendo o restando cualquier objeto en movimiento en el vídeo.

Introducción general

Go-with-the-Flow es un proyecto de código abierto desarrollado por el equipo de investigación de Netflix Eyeline Studios para controlar los patrones de movimiento de los modelos de difusión de vídeo mediante la distorsión del ruido. El proyecto permite a los usuarios determinar cómo se mueven las cámaras y los objetos de una escena, e incluso transferir patrones de movimiento de un vídeo a otro.Go-with-the-Flow consigue esto ajustando el modelo subyacente sin cambiar el conducto o la arquitectura originales. El código y los modelos del proyecto son de código abierto y los usuarios pueden utilizarlos y modificarlos libremente.

Nodo ComfyUI: https://github.com/kijai/ComfyUI-VideoNoiseWarp

Lista de funciones

• Control del movimiento de cizalladura y arrastreEl usuario puede crear vídeos cortando diferentes partes de una imagen y arrastrándolas.
• Proliferación de vídeosLa conversión de una animación tosca en una animación atractiva requiere el uso de la GPU.
• distorsión del ruidoUtiliza ruido distorsionado en lugar de ruido gaussiano puro para conseguir un movimiento más natural.
• Cambio de modo de movimiento: Aplica patrones de movimiento de un vídeo a otro.
• Interfaz gráfica de usuario (GUI): Proporciona una GUI nativa para animaciones creadas por el usuario.
• código abiertoTodos los códigos y modelos son de código abierto y los usuarios pueden acceder a ellos y modificarlos libremente.

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow

2. Instalar dependencias locales:

   pip install -r requirements_local.txt

3. Ejecute la GUI:

   python cut_and_drag_gui.py

Siga las instrucciones de la interfaz gráfica de usuario para completar la operación, y los archivos MP4 generados deben transferirse a un ordenador con GPU para su posterior procesamiento.

Proceso de utilización

1. Clona el repositorio e instala las dependencias en un ordenador con GPU:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow
pip install -r requirements.txt

2. Ruido de distorsión:

   python make_warped_noise.py <视频路径或 URL> --output_folder noise_warp_output_folder

3. Razonamiento de carrera:

   python cut_and_drag_inference.py noise_warp_output_folder \
--prompt "A duck splashing" \
--output_mp4_path "output.mp4" \
--device "cuda" \
--num_inference_steps 5

Ajuste las rutas de las carpetas, las palabras clave y otros hiperparámetros según sea necesario. El resultado se guardará como output.mp4.

Funciones principales

• Control del movimiento de cizalladura y arrastre: Selecciona distintas partes de la imagen en la interfaz gráfica de usuario y arrástralas para crear animaciones aproximadas.
• Proliferación de vídeosTransfiere archivos de animación en bruto a un ordenador con GPU y ejecuta scripts de inferencia para generar bellas animaciones.
• distorsión del ruido: Uso make_warped_noise.py El script genera ruido de distorsión para conseguir efectos de movimiento más naturales.
• Cambio de modo de movimiento: Aplica patrones de movimiento de un vídeo a otro ajustando pistas e hiperparámetros.

Procedimiento de funcionamiento detallado

1. Cortar y arrastrarCarga una imagen en la GUI y utiliza el ratón para seleccionar y arrastrar diferentes partes de la imagen para crear animaciones aproximadas.
2. Generar ruido distorsionadoFunciona en un ordenador con GPU make_warped_noise.py que genera el archivo de ruido de distorsión.
3. razonamiento en funcionamiento: Uso cut_and_drag_inference.py Scripts que convierten animaciones en bruto en bellas animaciones para su salida a archivos MP4.
4. Parámetros de ajusteAjuste las pistas, los hiperparámetros y las rutas de los archivos según sea necesario para obtener los mejores resultados.

Con los pasos anteriores, los usuarios pueden crear y controlar fácilmente los patrones de movimiento del vídeo para generar y animar vídeos de alta calidad.