OPR: инструмент с искусственным интеллектом, который разумно восстанавливает пожелтевшие и изношенные старые фотографии

Общее введение

"Возвращение старых фотографий к жизни" - это проект с открытым исходным кодом, разработанный группой исследователей Microsoft и направленный на восстановление старых фотографий с помощью технологий искусственного интеллекта. Он основан на подходе глубокого обучения, который позволяет справиться с серьезными проблемами деградации фотографий, такими как царапины, размытие и выцветание, чтобы вернуть исторические изображения к жизни. Проект был представлен в виде устного доклада на CVPR 2020 (Конференция по компьютерному зрению и распознаванию образов) и получил широкую известность. Пользователи могут получить доступ к коду и предварительно обученным моделям через GitHub, что подходит для исследований или личных нужд по восстановлению фотографий. Проект не только предоставляет техническую реализацию, но и включает подробную документацию и примеры для разработчиков и любителей.

Опыт работы в Интернете на сайте https://colab.research.google.com/drive/1NEm6AsybIiC5TwTU_4DqDkQO0nFRB-uA?usp=sharing

Список функций

• Общее качество старых фотографий улучшилось: Улучшение четкости, контрастности и цвета фотографий с помощью алгоритмов искусственного интеллекта.
• Автоматический ремонт царапин: Обнаружение и устранение физических царапин на фотографиях, восстановление оригинальных деталей изображения.
• Увеличение площади лица: Тонкая настройка областей лица для повышения четкости черт лица.
• Поддержка высокого разрешения: Поддерживает обработку фотографий с высоким разрешением для профессиональной реставрации.
• работа пользовательского интерфейса: Предоставляет интерфейс GUI для упрощения процесса загрузки и восстановления фотографий.
• Индивидуальные модели обучения: Позволяет пользователям обучать конкретные наборы данных по запросу, расширяя применимые сценарии.

Использование помощи

Процесс установки

Чтобы использовать "Bringing Old Photos Back to Life", вам необходимо завершить настройку среды и установку кода. Ниже приведены подробные шаги для системы Ubuntu (пользователям Windows необходимо настроить систему в соответствии с окружением):

1. Подготовка среды

• системные требования: Ubuntu (рекомендуется) с поддержкой Nvidia GPU и CUDA.
• Версия Python: Убедитесь, что установлен Python 3.6 или выше.
• Зависимая установка::
  1. Откройте терминал и введите следующую команду для установки необходимых библиотек:

     pip install torch torchvision numpy opencv-python PySimpleGUI
     

  2. Если требуется поддержка GPU, убедитесь, что установлена CUDA и соответствующая версия PyTorch.

2. Загрузка кода и моделей

• склад клонов::

  git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git
  cd Bringing-Old-Photos-Back-to-Life

• Модуль синхронизированной стандартизации партий::
  1. входитьFace_Enhancement/models/networks/Каталог:

     cd Face_Enhancement/models/networks/
     git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
     cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm ./
     cd ../../../
     

  2. входитьGlobal/detection_models/Повторите для каталога:

     cd Global/detection_models/
     git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
     cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm ./
     cd ../../
     

• Загрузите предварительно обученную модель::
  1. входитьFace_Enhancement/Каталог, скачать Модели улучшения лица:

     cd Face_Enhancement/
     wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip
     unzip face_checkpoints.zip
     cd ../
     

  2. входитьGlobal/Каталог, скачать Global Repair Model:

     cd Global/
     wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip
     unzip global_checkpoints.zip
     cd ../
     

• Модели распознавания лиц::
  1. входитьFace_Detection/каталог, загрузите тестовый файл:

     cd Face_Detection/
     wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
     bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
     cd ../
     

3. Тестовая установка

• Выполните команду примера, чтобы убедиться, что окружение создано правильно:

  python run.py --input_folder ./test_images --output_folder ./output --GPU 0
  

• В случае успеха восстановленная фотография будет сохранена в./output/final_output/Каталог.

Использование

Работа из командной строки

1. Подготовка папки ввода: Поместите старые фотографии, которые необходимо восстановить, в папку (например.test_images/).
2. Выполните команду восстановления::
   • Никакого ремонта царапин:

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0
     

   • Содержит средства для устранения царапин:

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0 --with_scratch
     

3. Посмотреть результаты: Восстановленные фотографии автоматически сохраняются в указанную выходную папку (например./path/to/output/final_output/).

Управление через интерфейс GUI

1. Запуск графического интерфейса::

   python GUI.py
   

2. процедура::
   • Нажмите на кнопку "Выбрать фотографию", чтобы загрузить старую фотографию для восстановления.
   • Нажмите кнопку "Изменить фотографию" и дождитесь завершения процесса (время зависит от размера фотографии и производительности оборудования).
   • По завершении обработки результаты отображаются на интерфейсе и сохраняются в файле./output/Папка.
   • Нажмите "Выход из окна", чтобы закрыть программу.

Основные функции Процедура работы

1. ремонт царапин

• Применимые сценарии: На фотографиях видны явные физические царапины.
• метод работы::
  1. В командной строке добавьте--with_scratchпараметр или отметьте соответствующую опцию в графическом интерфейсе (если поддерживается).
  2. Система автоматически обнаружит поцарапанную область и восстановит ее, процесс может занять немного времени.
  3. Проверьте выход, поцарапанная часть должна быть заполнена гладко.

2. Улучшение лица

• Применимые сценарии: Размытые лица или недостающие детали на фотографиях.
• метод работы::
  1. безопасныйFace_Enhancement/Модели в каталоге загружаются корректно.
  2. Во время работы система автоматически распознает область лица и настраивает ее.
  3. Детали лиц (например, глаза, уголки рта) будут более четкими на выходной фотографии.

3. обработка с высоким разрешением

• Применимые сценарии: Необходимо исправить отсканированные фотографии высокого разрешения.
• метод работы::
  1. В командной строке добавьте--HRПараметры:

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0 --HR
     

  2. Примечание: Поскольку по умолчанию модель обучается в разрешении 256x256, более высокие разрешения могут потребовать больше вычислительных ресурсов.

предостережение

• проблема пути: Рекомендуется использовать абсолютные пути (например./home/user/test_images), чтобы избежать ошибок.
• оптимизация производительности: Проект не был оптимизирован для скорости работы, и большие фотографии могут обрабатываться медленно.
• Предел разрешения: Наилучшие результаты достигаются при разрешении 256x256 пикселей, при больших разрешениях может потребоваться измельчение.

Выполнив описанные выше действия, пользователи смогут легко приступить к восстановлению старых фотографий, будь то личные воспоминания или исследовательские цели, и получить удовлетворительные результаты.