SkyReels V2: ИИ-инструмент с открытым исходным кодом для создания видеороликов неограниченной длины

Общее введение

SkyReels-V2 - это модель генерации видео с открытым исходным кодом, разработанная SkyworkAI. Она поддерживает генерацию видео неограниченной длины с помощью передовых технологий Diffusion Forcing для задач преобразования текста в видео (T2V) и изображения в видео (I2V). Пользователи могут генерировать высококачественный видеоконтент кинематографического качества, используя текстовые описания или входные изображения. Модель хорошо зарекомендовала себя в сообществе разработчиков с открытым исходным кодом, а ее производительность сопоставима с коммерческими моделями, такими как Kling и Runway-Gen4. Она предоставляет гибкие схемы вывода, подходящие для разработчиков, создателей и исследователей, а код и веса модели SkyReels-V2 находятся в открытом доступе на GitHub для легкой загрузки и развертывания.

Список функций

• Создание видео неограниченной длины: Поддержка создания видео любой длины, подходящих как для короткометражных, так и для полнометражных фильмов.
• Текст в видео (T2V): Генерируйте видеоконтент, соответствующий описанию, с помощью текстовых подсказок.
• Передача изображения в видео (I2V): Генерируйте динамическое видео на основе входного изображения, сохраняя его характеристики.
• мультимодальная поддержка: Сочетание крупномасштабного моделирования языка (MLLM) и обучения с подкреплением для улучшения качества генерации видео.
• Поколение историй: Автоматическое создание раскадровок видео, соответствующих логике повествования.
• управление камерой: Предоставляет режиссерскую точку зрения с поддержкой настройки углов камеры и движения.
• Многосубъектная согласованность: Обеспечьте визуальную согласованность в многоролевых видеороликах с помощью системы SkyReels-A2.
• Эффективная система рассуждений: Поддержка мульти-GPU для оптимизации скорости генерации и использования ресурсов.

Использование помощи

Процесс установки

SkyReels-V2 - это проект с открытым исходным кодом на основе Python, вам необходимо настроить среду локально или на сервере. Вот подробные шаги по установке:

1. склад клонов
   Откройте терминал и выполните следующую команду, чтобы получить код SkyReels-V2:

   git clone https://github.com/SkyworkAI/SkyReels-V2
   cd SkyReels-V2
   

2. Создание виртуальной среды
   Рекомендуется создавать виртуальную среду с использованием Python 3.10.12, чтобы избежать конфликтов зависимостей:

   conda create -n skyreels-v2 python=3.10
   conda activate skyreels-v2
   

3. Установка зависимостей
   Установите библиотеки Python, необходимые для проекта, и запустите его:

   pip install -r requirements.txt
   

4. Скачать модельные веса
   Модельные веса для SkyReels-V2 размещены на сайте Hugging Face. Загрузите их с помощью следующей команды:

   pip install -U "huggingface_hub[cli]"
   huggingface-cli download Skywork/SkyReels-V2 --local-dir ./models
   

   Убедитесь, что у вас достаточно места на диске (размер модели может составлять десятки гигабайт).

5. требования к оборудованию
   • минимальная конфигурация: Одноблочный RTX 4090 (24 ГБ VRAM) с поддержкой FP8 для количественного снижения требований к памяти.
   • Рекомендуемые конфигурации: Несколько графических процессоров (например, 4-8 A100) для поддержки эффективного параллельного вывода.
   • Не менее 32 ГБ системной памяти и 100 ГБ дискового пространства.

Использование

SkyReels-V2 предоставляет две основные функции: преобразование текста в видео (T2V) и изображения в видео (I2V). Ниже описана конкретная процедура работы:

Текст в видео (T2V)

1. Подготовка подсказок
   Напишите текстовые подсказки, описывающие содержание видео, например:

   A serene lake surrounded by towering mountains, with swans gliding across the water.
   

   Чтобы избежать нежелательных элементов, можно добавить негативные сигналы:

   low quality, deformation, bad composition
   

2. Запустите сгенерированный скрипт
   модификации generate_video.py параметры, установите разрешение, частоту кадров и т.д:

   python generate_video.py --model_id "Skywork/SkyReels-V2-T2V-14B-540P" --prompt "A serene lake surrounded by mountains" --num_frames 97 --fps 24 --outdir ./output
   

   • --model_id: Выберите модель (например, 540P или 720P).
   • --num_frames: Установка частоты кадров видео (по умолчанию 97).
   • --fps: Частота кадров (по умолчанию 24).
   • --outdir: Путь сохранения выходного видео.
3. Просмотр выходных данных
   Созданное видео будет сохранено в формате MP4, например. output/serene_lake_42_0.mp4.

Передача изображения в видео (I2V)

1. Подготовка входного изображения
   Предоставьте изображение высокого качества (например, PNG или JPG), убедившись, что разрешение соответствует модели (по умолчанию 960x544).
2. Запустите сгенерированный скрипт
   существовать generate_video.py Укажите путь к изображению в поле

   python generate_video.py --model_id "Skywork/SkyReels-V2-I2V-14B-540P" --prompt "A warrior fighting in a forest" --image ./input_image.jpg --num_frames 97 --fps 24 --outdir ./output
   

   • --image: Введите путь к изображению.
   • Остальные параметры аналогичны параметрам T2V.
3. Настройки оптимизации
   • пользоваться --guidance_scale(По умолчанию 6,0) Регулирует интенсивность рулевого управления текстом.
   • пользоваться --inference_steps(по умолчанию 30) Контролирует качество генерации, чем больше шагов, тем выше качество, но тем больше времени это занимает.
   • начать использовать --offload Оптимизация использования памяти для устройств с малым объемом графической памяти.

Функциональное управление

1. Видео неограниченной длины
   SkyReels-V2 использует технологию Diffusion Forcing для создания очень длинных видео. Запускайте сценарии вывода длинных видео:

   python inference_long_video.py --model_id "Skywork/SkyReels-V2-T2V-14B-720P" --prompt "A sci-fi movie scene" --num_frames 1000
   

   • Рекомендуется генерировать их сегментами по 97-192 кадра в каждом, а затем сшивать их вместе с помощью инструментов постпродакшна.
2. Поколение историй
   Используйте функцию Story Generation системы SkyReels-A2, чтобы ввести описание сюжета:

   A hero’s journey through a futuristic city, facing challenges.
   

   Бег:

   python story_generate.py --prompt "A hero’s journey" --output story_video.mp4
   

   Система будет генерировать видео с раскадровкой, автоматически расставляя сцены и кадры.

3. управление камерой
   пройти (законопроект, проверку и т.д.) --camera_angle Параметр задает вид объектива (например, "фронтальный" или "профильный"):

   python generate_video.py --prompt "A car chase" --camera_angle "profile" --outdir ./output
   

4. Многосубъектная согласованность
   SkyReels-A2 поддерживает многосимвольные сцены. Предоставляет несколько эталонных изображений для запуска:

   python multi_subject.py --prompt "Two characters talking" --images "char1.jpg,char2.jpg" --outdir ./output
   

   Убедитесь, что персонажи визуально соответствуют друг другу в видео.

Оптимизация и отладка

• дефицит памяти: Включить --quant Количественное определение с помощью FP8, или --offload Переложите часть вычислений на центральный процессор.
• Создание качества: Увеличить --inference_steps(например, 50) или настроить --guidance_scale(например, 8,0).
• Поддержка общества: Проверьте проблемы на GitHub Issues или присоединяйтесь к SkyReels Обсуждение сообщества.

сценарий применения

1. Создание коротких видеороликов
   Создатели могут использовать функцию T2V для быстрого создания коротких видеоклипов на основе текста, подходящих для создания контента для социальных сетей.
2. Предварительное производство фильма
   Режиссеры могут использовать функции создания видео неограниченной длины и сюжетов для создания трейлеров к фильмам или концепт-фильмов, что позволяет сократить первоначальные расходы.
3. Виртуальная витрина электронной коммерции
   Используйте функцию I2V, чтобы превратить изображения товара в динамичные видеоролики, демонстрирующие его использование в виртуальной сцене.
4. Образовательная анимация
   Учителя могут создавать обучающие анимации на основе текстовых описаний, чтобы наглядно представить сложные концепции, например, процесс научного эксперимента.
5. разработка игр
   Разработчики могут генерировать игровые сцены или анимации персонажей, чтобы использовать их в качестве материала для прототипов или переходов.

QA

1. Какие разрешения поддерживает SkyReels-V2?
   В настоящее время поддерживается 540P (960x544) и 720P (1280x720), с возможностью расширения до более высоких разрешений в будущем.
2. Сколько видеопамяти мне нужно для работы?
   Один RTX 4090 (24 ГБ) может выполнять базовые рассуждения, а конфигурации с несколькими GPU - ускорять сырое и выращенное видео.
3. Как улучшить качество создаваемых видеороликов?
   Увеличьте количество шагов рассуждения (--inference_steps), оптимизировать слова подсказки или использовать высококачественные входные изображения.
4. Поддерживает ли он генерацию в режиме реального времени?
   В настоящее время генерация в автономном режиме, генерация в реальном времени требует более высокой аппаратной поддержки и может быть оптимизирована в будущем.
5. Являются ли модели весов бесплатными?
   Да, SkyReels-V2 - это полностью открытый исходный код, и весы можно бесплатно загрузить с сайта Hugging Face.