RAIN: захват реальных человеческих выражений в реальном времени для создания видеопотоков аниме-изображений

Общее введение

RAIN (Real-time Animation Of Infinite Video Stream) - это проект с открытым исходным кодом, предназначенный для создания анимационных эффектов в реальном времени для бесконечных видеопотоков. Разработанный Pscgylotti, проект предоставляет решение для генерации видео на обычных пользовательских устройствах. Используя новейшие методы глубокого обучения, RAIN способен генерировать непрерывный видеопоток на основе загруженных пользователем изображений, что применимо в производстве анимации, видеоэффектов и других областях.

RAIN создает анимацию в реальном времени на устройствах потребительского класса.

Список функций

• Создавайте анимированные видеоролики в режиме реального времени
• Поддержка создания видео на пользовательских устройствах
• Предоставляет множество предварительно обученных моделей и весовых коэффициентов
• Поддержка ускорения TensorRT
• Обеспечение интерфейса приложения Gradio
• Поддержка нескольких настроек параметров генерации видео

Использование помощи

Процесс установки

1. Убедитесь, что установлен Python >= 3.10.
2. Установите PyTorch (рекомендуемая версия >= 2.3.0), который можно загрузить с официального сайта PyTorch.
3. Клонируйте репозиторий проекта RAIN:

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. Установите зависимости, необходимые для рассуждений:

   pip install -r requirements_inference.txt

Процесс использования

1. Загрузите предварительно обученные модели и веса:
   • Загрузите оригинальные грузы RAIN с Google Drive или Huggingface Hub и поместите их вweights/torch/Каталог.
   • Загрузите остальные необходимые файлы модели и поместите их в соответствующие каталоги (например.weights/onnx/).
2. Запустите приложение Gradio:

   python gradio_app.py

Откройте браузер и посетитеhttp://localhost:7860/Загрузите портрет верхней части тела любого аниме-персонажа, настройте параметры и запустите морфинг лица.

3. Настройте параметры генерации видео:
   • В интерфейсе Gradio можно настроить различные параметры, чтобы добиться наилучшего эффекта анимации.
   • Уделите особое внимание настройке параметров, связанных с глазами, чтобы обеспечить наилучшую композицию лица.

Подробные функции

• Генерируйте видеопотоки в режиме реального времениRAIN способен генерировать непрерывные видеопотоки в реальном времени на основе изображений, загруженных пользователем, что позволяет создавать анимацию и видеоэффекты.
• Поддержка загружаемых пользователем изображений: Пользователи могут загрузить любое изображение, и RAIN сгенерирует соответствующий видеопоток на основе этого изображения.
• Обеспечивает различные настройки параметров генерации видео: Пользователь может настроить параметры генерации для получения наилучшего эффекта анимации.
• Поддержка ускорения TensorRT: Включив ускорение TensorRT, RAIN может завершить компиляцию модели за более короткий промежуток времени, увеличивая скорость вывода.
• Предварительно обученные модели доступны для загрузки: Пользователи могут загружать предварительно обученные модели с различных платформ для быстрого старта.
• Совместимость с различными фреймворками глубокого обученияRAIN поддерживает различные фреймворки глубокого обучения, такие как PyTorch, что облегчает вторичную разработку.

требования к оборудованию

• Для выполнения всей демонстрации выводов обычно требуется около 12 ГБ оперативной памяти устройства.
• Модель синтеза требует около 8 ГБ оперативной памяти устройства при одиночном запуске.

Реферативные проекты

Проект RAIN основан на нескольких проектах с открытым исходным кодом, таких как AnimateAnyone, Moore-AnimateAnyone, Open-AnimateAnyone и т.д., объединяя преимущества этих проектов для достижения эффективной генерации анимации в реальном времени.