Go-with-the-Flow: управляет движением объектов в видео, добавляя или вычитая любые движущиеся объекты в видео.

Общее введение

Go-with-the-Flow - это проект с открытым исходным кодом, разработанный исследовательской группой Netflix Eyeline Studios для управления моделями движения в диффузионных моделях видео с помощью искажающего шума. Проект позволяет пользователям определять, как движутся камеры и объекты в сцене, и даже переносить модели движения из одного видео в другое. Go-with-the-Flow достигает этого путем тонкой настройки базовой модели без изменения исходного конвейера или архитектуры. Код и модели проекта имеют открытый исходный код и могут свободно использоваться и модифицироваться пользователями.

Узел ComfyUI: https://github.com/kijai/ComfyUI-VideoNoiseWarp

Список функций

• Управление сдвигом и перемещением волочения: Пользователи могут создавать видео, вырезая различные части изображения и перетаскивая их.
• Распространение видео: Преобразование грубой анимации в красивую требует использования графического процессора.
• шумовые искажения: Используйте искаженный шум вместо чистого гауссова шума для более естественного движения.
• Переключение режимов движения: Наложение шаблонов движения с одного видео на другое.
• Графический интерфейс пользователя (GUI): Предоставляет собственный графический интерфейс для анимации, созданной пользователем.
• открытый исходный код: Весь код и модели имеют открытый исходный код и могут быть свободно доступны и изменены пользователями.

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow

2. Установите локальные зависимости:

   pip install -r requirements_local.txt

3. Запустите графический интерфейс:

   python cut_and_drag_gui.py

Следуйте инструкциям в графическом интерфейсе, чтобы завершить операцию, а созданные файлы MP4 необходимо перенести на компьютер с графическим процессором для дальнейшей обработки.

Процесс использования

1. Клонируйте репозиторий и установите зависимости на компьютер с GPU:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow
pip install -r requirements.txt

2. Искажающий шум:

   python make_warped_noise.py <视频路径或 URL> --output_folder noise_warp_output_folder

3. Бегущие рассуждения:

   python cut_and_drag_inference.py noise_warp_output_folder \
--prompt "A duck splashing" \
--output_mp4_path "output.mp4" \
--device "cuda" \
--num_inference_steps 5

При необходимости настройте пути к папкам, слова подсказки и другие гиперпараметры. Выходные данные будут сохранены в формате output.mp4.

Основные функции

• Управление сдвигом и перемещением волочения: Выберите различные части изображения в графическом интерфейсе и перетащите их, чтобы создать грубую анимацию.
• Распространение видео: Перенесите черновые анимационные файлы на компьютер с графическим процессором и запустите скрипты вывода для создания красивой анимации.
• шумовые искажения: Использование make_warped_noise.py Скрипт генерирует шум искажений для создания более естественных эффектов движения.
• Переключение режимов движения: Применяйте шаблоны движения из одного видео в другое, настраивая сигналы и гиперпараметры.

Подробная процедура работы

1. Вырезать и перетащить: Загрузите изображение в графический интерфейс и используйте мышь для выделения и перетаскивания различных частей изображения, чтобы создать грубую анимацию.
2. Генерируйте искаженный шум: Работает на компьютере с графическим процессором make_warped_noise.py скрипт, создающий файл с шумом искажения.
3. рассуждения о беге: Использование cut_and_drag_inference.py Скрипты, преобразующие грубую анимацию в красивую для вывода в файлы MP4.
4. Параметры настройки: Настройте сигналы, гиперпараметры и пути к файлам, если это необходимо для достижения наилучших результатов.

С помощью описанных выше действий пользователи могут легко создавать и контролировать паттерны движения видео для создания высококачественного видео и анимации.