SkyReels-V1: видеомодели с открытым исходным кодом для создания высококачественных видеороликов действий человека

Общее введение

SkyReels-V1 - это проект с открытым исходным кодом, разработанный командой SkyworkAI и направленный на создание высококачественного видеоконтента, ориентированного на человека. Проект основан на HunyuanVideo SkyMovie - первая в мире базовая модель человеческих действий, созданная путем точной настройки десятков миллионов высококачественных кино- и телеклипов. Открытый исходный код SkyReels-V1 отличает его от других инструментов в своем классе и позволяет использовать его творцам, преподавателям и исследователям ИИ для создания эскизов, анимации или изучения технологий. Проект размещен на GitHub. Проект размещен на GitHub и предоставляет подробный код, веса моделей и документацию, чтобы пользователи могли быстро начать работу.

Список функций

• Текст в видео (T2V): Генерируйте анимированные видеоролики на основе текстовых описаний, введенных пользователем, например "Кот в солнечных очках работает спасателем в бассейне".
• Передача изображения в видео (I2V): Преобразование неподвижных изображений в движущееся видео с сохранением исходных характеристик изображения и добавлением естественного движения.
• Продвинутая анимация лицаПоддерживает 33 тонких выражения и более 400 комбинаций движений, точно передавая человеческие эмоции и язык тела.
• Изображение кинематографического качества: Обучение с использованием высококачественных кино- и телематериалов, чтобы обеспечить профессиональную композицию, световые эффекты и чувство камеры.
• Эффективная система рассуждений: Быстрая генерация видео с помощью SkyReelsInfer, поддержка параллельных вычислений на нескольких GPU для повышения эффективности генерации.
• Гибкая настройка параметров: Определяемые пользователем параметры, такие как разрешение видео (например, 544x960), частота кадров (например, 97 кадров в секунду) и масштаб направляющих.
• Взвешивание моделей с открытым исходным кодом:: Предоставление предварительно обученных моделей для прямой загрузки и вторичного развития разработчиками.

Использование помощи

Процесс установки

SkyReels-V1 - это инструмент, основанный на Python, который требует определенной поддержки аппаратного и программного окружения. Ниже приведены подробные шаги по установке и использованию:

Экологические требования

• программное обеспечение: Рекомендуется использовать компьютеры с графическими процессорами NVIDIA, такими как RTX 4090 или A800, чтобы обеспечить поддержку CUDA.
• операционная система: Windows, Linux или macOS (в последнем случае может потребоваться дополнительная настройка).
• зависимость от программного обеспечения: Python 3.10+, CUDA 12.2, PyTorch, Git.

Этапы установки

1. склад клонов
   Откройте терминал и введите следующую команду, чтобы загрузить код проекта SkyReels-V1:

git clone https://github.com/SkyworkAI/SkyReels-V1.git
cd SkyReels-V1

Это создаст локальную папку проекта.

2. Создание виртуальной среды(Необязательно, но рекомендуется)
   Чтобы избежать конфликтов зависимостей, рекомендуется использовать виртуальную среду:

conda create -n skyreels python=3.10
conda activate skyreels

3. Установка зависимостей
   Проект предусматривает requirements.txt выполните следующую команду для установки необходимых библиотек:

pip install -r requirements.txt

Убедитесь, что сеть открыта, на завершение установки может уйти несколько минут.

4. Скачать модельные веса
   Модельные веса для SkyReels-V1 размещены на Hugging Face и могут быть загружены локально вручную или путем указания пути непосредственно через код. Доступ Страница модели Hugging FaceСкачать SkyReels-V1-Hunyuan-T2V папку, расположенную в каталоге проекта (например. /path/to/SkyReels-V1/models).
5. Проверка установки
   Выполните пример команды, чтобы проверить, работает ли среда:

python3 video_generate.py --model_id ./models/SkyReels-V1-Hunyuan-T2V --prompt "FPS-24, A dog running in a park"

Если ошибок нет и создается видеоролик, значит, установка прошла успешно.

Работа основных функций

Текст в видео (T2V)

1. Подготовка подсказок
   Напишите реплику, описывающую содержание видео, она должна начинаться, например, с "FPS-24":

FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool

2. Выполните команду generate
   Введите следующую команду в терминале:

python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" 
--embedded_guidance_scale 1.0 
--quant --offload --high_cpu_memory 
--gpu_num 1

• --guidance_scale: Регулирует интенсивность управления текстом, рекомендуется 6.0.
• --height ответить пением --width: Установите разрешение видео, по умолчанию 544x960.
• --num_frames: Генерирует кадры, 97 кадров равны примерно 4 секундам видео (24 кадр/с).
• --quant, и--offload: Оптимизация использования памяти для устройств низшего класса.

3. результат вывода
   Созданное видео будет сохранено в файле results/skyreels папку, с именем файла cue word + seed value, например. FPS-24_A_cat_wearing_sunglasses_42_0.mp4.

Передача изображения в видео (I2V)

1. Подготовка изображения
   Загрузите неподвижное изображение (например, PNG или JPG), убедившись, что оно четкое, с рекомендуемым разрешением, близким к 544x960.
2. Выполнить команду
   увеличить --task_type i2v ответить пением --image параметры, например:

python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--task_type i2v 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A person dancing" 
--image ./input/cat_photo.png 
--embedded_guidance_scale 1.0

3. Посмотреть результаты
   Выходное видео будет генерировать динамический контент на основе изображения, также сохраненного в results/skyreels Папка.

Настройка параметров для оптимизации результатов

• Частота кадров и продолжительность:: Модификации --num_frames ответить пением --fps(по умолчанию 24) или 240 кадров в секунду для 10-секундных видеороликов.
• качество изображения:: Увеличение --num_inference_steps(по умолчанию 30), что улучшает детализацию, но занимает больше времени.
• Поддержка нескольких графических процессоров: Настройки --gpu_num количество доступных графических процессоров для ускорения обработки.

Функциональное управление

Продвинутая анимация лица

Главная изюминка SkyReels-V1 - возможность анимации лица. Кинга описывает конкретное выражение лица (например, "удивлен" или "улыбается"), и модель автоматически генерирует одно из 33 выражений с естественными движениями. Например:

FPS-24, Женщина искренне смеется в кафе

После генерации персонажи видео демонстрируют реалистичные улыбки и микродвижения тела с детализацией, сравнимой с живым действием.

Графика кинематографического качества

Не требуя дополнительной настройки, SkyReels-V1 по умолчанию выводит видео с профессиональным освещением и композицией. Добавьте к реплике описание сцены (например, "под неоновыми огнями ночью"), чтобы придать видео более кинематографичный вид.

предостережение

• аппаратное ограничение: Если памяти GPU недостаточно (например, менее 12 ГБ), рекомендуется включить функцию --quant ответить пением --offloadИли уменьшите разрешение до 512x320.
• Техника слов-подсказок: Лучше всего работают краткие и конкретные описания, избегайте расплывчатых слов.
• Поддержка общества: Посетите страницу GitHub Issues, чтобы оставить отзыв или ознакомиться с обсуждениями в сообществе.

Выполнив эти действия, пользователи смогут легко начать работу с SkyReels-V1 и создавать высококачественный видеоконтент, будь то короткие зарисовки или анимационные эксперименты.