Ruyi-Models: создание моделей с открытым исходным кодом для преобразования изображений в видео, поддерживающих управление объективом и амплитудой движения.

Общее введение

Ruyi-Models - это проект с открытым исходным кодом, предназначенный для создания высококачественного видео из изображений. Разработанный командой IamCreateAI, проект поддерживает создание видео кинематографического качества с разрешением 768, 24 кадра в секунду, в общей сложности 5 секунд и 120 кадров. Ruyi-Models поддерживает управление кадрами и управление движением и может генерировать видео без потерь с разрешением 512 и 120 кадров (или разрешением 768 и около 72 кадров) с помощью видеокарт RTX 3090 или RTX 4090. Проект содержит подробные инструкции по установке и Проект содержит подробные инструкции по установке и использованию для различных нужд пользователей.

Официальный сайт: https://www.iamcreate.ai/

Список функций

• Генерация изображений в видео: генерируйте высококачественное видео кинематографического качества.
• Управление объективом: поддержка управления объективом влево/вправо, вверх/вниз и статического управления.
• Управление амплитудой движения: поддержка управления движением с различной амплитудой.
• Оптимизация памяти GPU: предоставляет различные варианты оптимизации памяти GPU для удовлетворения потребностей различных пользователей.
• Многочисленные варианты монтажа: поддержка установки через ComfyUI Менеджер и ручная установка.
• Загрузка моделей: поддерживает автоматическую и ручную загрузку моделей.

Использование помощи

Процесс установки

1. Клонируйте репозиторий и установите необходимые зависимости:

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. Для пользователей ComfyUI:
   • Способ 1: Установка через ComfyUI Manager.

Запустите ComfyUI, откройте Manager, выберите Custom Nodes Manager и найдите "Ruyi". Выберите ComfyUI-Ruyi в результатах поиска (как показано на скриншоте ниже) и нажмите кнопку "Установить", чтобы установить его.

Наконец, найдите "ComfyUI-VideoHelperSuite" и установите его.

1. • Способ 2: ручная установка:

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. Установите ComfyUI-VideoHelperSuite для отображения видеовыхода:

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Для пользователей Windows:
   • Используйте дистрибутив ComfyUI_windows_portable_nvidia:

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

Использование

1. Загрузите модель и сохраните ее по указанному пути:
   • Например, загрузите модель Ruyi-Mini-7B и сохраните ее в папке Ruyi-Models/models папка.
   • Для пользователей ComfyUI путь должен быть следующим ComfyUI/models/Ruyi.
2. Запустите модель:
   • Работайте непосредственно с кодом Python:

     python3 predict_i2v.py
     

   • Сценарий загружает модель в Ruyi-Models/models папку и используйте assets Изображения в папке используются в качестве начального и конечного кадров для видеоинтерпретации. Переменные в сценарии могут быть изменены для замены входных изображений и установки таких параметров, как длина и разрешение видео.
3. Оптимизация памяти GPU:
   • предложение GPU_memory_mode ответить пением GPU_offload_steps возможность уменьшить использование памяти GPU для удовлетворения потребностей различных пользователей. Использование меньшего объема памяти GPU требует большего объема оперативной памяти и более длительного времени генерации.