CodeFormer: реставрация изображений и видео, восстановление старых фотографий, предлагает версию для развертывания в один клик

Общее представление CodeFormer

CodeFormer - это кодовая база для надежного слепого восстановления лиц, разработанная группой исследователей из S-Lab, Наньянского технологического университета и представленная на NeurIPS 2022. Используя технологию Codebook Lookup Transformer, проект нацелен на улучшение восстановления лиц на изображениях, особенно при работе с низкокачественными или поврежденными изображениями. CodeFormer предоставляет широкий спектр функций, включая восстановление, окрашивание и исправление лиц, для различных задач обработки изображений. Кроме того, проект поддерживает ввод видео и предлагает простые в использовании онлайн-демонстрации, предварительно обученные модели и подробные инструкции по использованию.

Инструкции по применению должны быть строго прочитаны, иначе он не будет работать должным образом. При официальной продаже в качестве реставрации старых фотографий требуется простая PS-база, иначе не удастся достичь того же эффекта в режиме онлайн.

CodeFormer пытается улучшить старые фотографии / исправить AI-портреты

CodeFormer Восстановление лица

CodeFormer Усиление и восстановление цвета лица

CodeFormer Восстановление лица

Список функций CodeFormer

• восстановление лица: Повышение четкости и детализации некачественных или поврежденных изображений лиц с помощью технологии преобразователя кодовых книг.
• Раскрашивание изображений: Добавьте естественный цвет черно-белым или выцветшим изображениям.
• Ремонт изображений: Восстановите недостающие части изображения, чтобы сделать его полным.
• Обработка видео: Поддержка восстановления и улучшения лиц в видео.
• Онлайн-демонстрация: Предусмотрена функция онлайн-демонстрации, чтобы пользователи могли испытать реставрацию прямо в своем браузере.

Помощь CodeFormer

Процесс установки

1. Клонирование кодовой базы::

   git clone https://github.com/sczhou/CodeFormer
   cd CodeFormer
   

    

2. Создание и активация виртуальной среды::

   conda create -n codeformer python=3.8 -y
   conda activate codeformer
   

    

3. Установка зависимостей::

   pip install -r requirements.txt
   python basicsr/setup.py develop
   conda install -c conda-forge dlib
   

    

4. Загрузите предварительно обученную модель::

   python scripts/download_pretrained_models.py facelib
   python scripts/download_pretrained_models.py dlib
   python scripts/download_pretrained_models.py CodeFormer
   

    

Процесс использования

1. Подготовка тестовых данных: Поместите тестовое изображение в inputs/TestWhole папка. Если вам нужно протестировать обрезанные и выровненные изображения лиц, вы можете поместить их в папку inputs/cropped_faces папка.
2. Запустите код вывода::

   python inference_codeformer.py --input_path inputs/TestWhole --output_path results
   

   Эта команда обработает inputs/TestWhole папку со всеми изображениями в ней и сохраните результаты в папке results папка.

Функции Поток операций

1. восстановление лица::
   • Поместите восстанавливаемое изображение в inputs/TestWhole Папка.
   • Запустите код вывода, чтобы сгенерировать восстановленное изображение.
2. Раскрашивание изображений::
   • Поместите черно-белое изображение в inputs/TestWhole Папка.
   • пользоваться inference_colorization.py Сценарий для раскрашивания.
3. Ремонт изображений::
   • Поместите изображение, которое нужно пропатчить, в inputs/TestWhole Папка.
   • пользоваться inference_inpainting.py Скрипты для создания патчей.
4. Обработка видео::
   • Поместите видеофайл в указанную папку.
   • Запустите код вывода для обработки лиц на видео.

Реставрация лица (обрезка и выравнивание лица)

# Для обрезанных и выровненных лиц
python inference_codeformer.py -w 0.5 --has_aligned --input_path [папка для ввода]

Общее улучшение изображения

# Для всего изображения
# Добавьте '---bg_upsampler realesrgan' для улучшения фоновых регионов с помощью Real-ESRGAN
# Добавьте '--face_upsample' для дальнейшего апсемплирования восстановленного лица с помощью Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [папка с изображением/путь к изображению]

улучшение видео

# Для видеоклипов
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path

Вес достоверности w находится в диапазоне [0, 1]. Как правило, меньший w приводит к более качественным результатам, а больший w - к более точным.

Результаты будут сохранены в папке результатов.

Набор для развертывания CodeFormer одним кликом

Запуск колаборатории CodeFormer

КодБегство с обнимающимися лицами

CodeFormer для Windows

Веб-интерфейс CodeFormer (Пароль niugee51)