SVFR: унифицированная структура для реализации восстановления лиц в видео, исправления черно-белых, размытых портретных старых видеозаписей

Общее введение

SVFR (Stable Video Face Restoration) - это единый фреймворк для восстановления лиц в видео, который поддерживает базовую реставрацию лица (BFR), окрашивание, восстановление и их комбинацию. Система использует генеративные оценки и оценки движения для интеграции информации, специфичной для конкретной задачи, в единую систему восстановления лица, чтобы улучшить качество восстановления и временную стабильность. SVFR разработана для решения проблем временной стабильности, артефактов движения и ограниченного количества высококачественных видеоданных при восстановлении видео лица. Проект разработан Чжияо Вангом и др. и находится в открытом доступе на GitHub, где код и предварительно обученные модели доступны для академических и некоммерческих исследований.

Список функций

• Базовая реставрация лица (BFR): Исправление деталей лица в видео низкого качества.
• раскраска: Добавляет цвет к черно-белому видео.
• исправления: Исправьте недостающие части видео.
• Портфель заданий: Поддерживается любая комбинация BFR, окрашивания и восстановления.
• постоянство времени: Повышение временной согласованности восстановления видео с помощью генерации и предварительной оценки движения.
• Модель предварительного обучения: Предоставьте пользователям множество предварительно обученных моделей, чтобы они могли быстро приступить к работе.

Использование помощи

Процесс установки

1. Создание среды Conda::

   conda create -n svfr python=3.9 -y
conda activate svfr

2. Установка PyTorch: Выберите правильную версию CUDA для вашего оборудования, например:

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2

3. Установка зависимостей::

   pip install -r requirements.txt

4. Скачать Контрольные точки: Вручную скачать и поместить в указанную директорию.

Процесс использования

1. однозадачное мышление::

   python3 infer.py --config config/infer.yaml --task_ids 0 --input_path ./assert/lq/lq1.mp4 --output_dir ./results/

• task_id: 0 Указывает на базовое восстановление лица (BFR)
• task_id: 1 обозначить раскраску
• task_id: 2 Указывает на восстановление

1. многозадачное комбинаторное мышление::

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/

• task_ids: 0,1 Указывает на BFR и окрашивание
• task_ids: 0,1,2 Указывает на BFR, окрашивание и реставрацию

1. Придумывание ремонтных масок::

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/ --mask_path ./assert/mask/lq3.png

Подробный порядок работы функций

1. Базовая реставрация лица (BFR)::
   • Выберите путь к входному видео и выходной каталог.
   • Установите идентификатор задачи на 0.
   • Выполните команду reasoning, чтобы сгенерировать отремонтированное видео.
2. раскраска::
   • Выберите путь к входному видео и выходной каталог.
   • Установите идентификатор задачи на 1.
   • Запустите команду inference, чтобы сгенерировать цветное видео.
3. исправления::
   • Выберите путь к входному видео и выходной каталог.
   • Установите идентификатор задачи на 2.
   • Выполните команду reasoning, чтобы сгенерировать отремонтированное видео.
4. Портфель заданий::
   • Выберите путь к входному видео и выходной каталог.
   • Установите ID задачи на ID объединенной задачи, например 0,1 для BFR и раскраски.
   • Запустите команды вывода, чтобы сгенерировать видео после обработки комбинированной задачи.
5. Придумывание ремонтных масок::
   • Выберите путь к входному видео, выходной каталог и путь к файлу маски.
   • Установите ID задания на ID комбинированного задания, например 0,1,2 для BFR, Colouring и Repair.
   • Запустите команду inference, чтобы сгенерировать видео с обработанной ремонтной маской.