OPR: 누렇게 변색되고 낡은 오래된 사진을 지능적으로 복원하는 AI 도구

일반 소개

"오래된 사진을 되살리기"는 AI 기술을 사용하여 오래된 사진을 복원하는 데 중점을 둔 Microsoft 연구팀이 개발한 오픈 소스 프로젝트입니다. 스크래치, 흐릿함, 색 바램 등 사진의 심각한 품질 저하 문제를 처리할 수 있는 딥 러닝 접근 방식을 기반으로 하여 역사적 이미지를 생생하게 복원합니다. 이 프로젝트는 CVPR 2020(컴퓨터 비전 및 패턴 인식 컨퍼런스)에서 구두 프레젠테이션으로 발표되어 많은 주목을 받았습니다. 사용자는 깃허브를 통해 코드와 사전 학습된 모델에 액세스할 수 있으며, 연구 또는 개인 사진 복원에 적합합니다. 이 프로젝트는 기술적 구현뿐만 아니라 개발자와 애호가를 위한 자세한 문서와 예제도 제공합니다.

온라인 체험(https://colab.research.google.com/drive/1NEm6AsybIiC5TwTU_4DqDkQO0nFRB-uA?usp=sharing)

기능 목록

• 오래된 사진의 전반적인 품질 향상AI 알고리즘으로 사진의 선명도, 대비, 색상을 개선하세요.
• 자동 스크래치 복구사진의 물리적 스크래치를 감지하고 복구하여 원본 이미지의 세부 사항을 복원합니다.
• 얼굴 부위 향상얼굴 부위를 미세 조정하여 얼굴 특징의 선명도를 높입니다.
• 고해상도 지원전문적인 복원이 필요한 고해상도 사진 처리를 지원합니다.
• 사용자 인터페이스 작동: 사진 업로드 및 복원 과정을 간소화하는 GUI 인터페이스를 제공합니다.
• 맞춤형 교육 모델사용자가 필요에 따라 특정 데이터 세트를 학습하여 적용 가능한 시나리오를 확장할 수 있습니다.

도움말 사용

설치 프로세스

'오래된 사진 되살리기'를 사용하려면 환경 구성과 코드 설치를 완료해야 합니다. 다음은 우분투 시스템의 자세한 단계입니다(Windows 사용자는 환경에 따라 조정해야 함):

1. 환경 준비하기

• 시스템 요구 사항우분투(권장), 엔비디아 GPU 및 CUDA 지원.
• Python 버전파이썬 3.6 이상이 설치되어 있는지 확인합니다.
• 종속 설치::
  1. 터미널을 열고 다음 명령을 입력하여 필요한 라이브러리를 설치합니다:

     pip install torch torchvision numpy opencv-python PySimpleGUI
     

  2. GPU 지원이 필요한 경우 CUDA와 해당 버전의 PyTorch가 설치되어 있는지 확인하세요.

2. 코드 및 모델 다운로드

• 클론 창고::

  git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git
  cd Bringing-Old-Photos-Back-to-Life

• 동기화된 배치 표준화 모듈::
  1. 로 이동Face_Enhancement/models/networks/카탈로그:

     cd Face_Enhancement/models/networks/
     git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
     cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm ./
     cd ../../../
     

  2. 로 이동Global/detection_models/카탈로그에 대해 반복합니다:

     cd Global/detection_models/
     git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
     cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm ./
     cd ../../
     

• 사전 학습된 모델 다운로드::
  1. 로 이동Face_Enhancement/카탈로그, 얼굴 향상 모델 다운로드:

     cd Face_Enhancement/
     wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip
     unzip face_checkpoints.zip
     cd ../
     

  2. 로 이동Global/카탈로그, 글로벌 수리 모델 다운로드:

     cd Global/
     wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip
     unzip global_checkpoints.zip
     cd ../
     

• 얼굴 인식 모델::
  1. 로 이동Face_Detection/카탈로그에서 테스트 파일을 다운로드합니다:

     cd Face_Detection/
     wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
     bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
     cd ../
     

3. 테스트 설치

• 샘플 명령을 실행하여 환경이 올바른지 확인합니다:

  python run.py --input_folder ./test_images --output_folder ./output --GPU 0
  

• 성공하면 복원된 사진이 복원된 사진과 함께./output/final_output/카탈로그.

사용법

명령줄에서 작업하기

1. 입력 폴더 준비하기: 복원할 이전 사진을 폴더에 배치합니다(예test_images/).
2. 복구 명령 실행::
   • 스크래치 수리 없음:

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0
     

   • 스크래치 복구가 포함되어 있습니다:

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0 --with_scratch
     

3. 결과 보기복원된 사진은 지정된 출력 폴더에 자동으로 저장됩니다(예/path/to/output/final_output/).

GUI 인터페이스를 통한 조작

1. GUI 시작하기::

   python GUI.py
   

2. 절차::
   • 복원할 이전 사진을 업로드하려면 '사진 선택' 버튼을 클릭합니다.
   • '사진 수정' 버튼을 클릭하고 프로세스가 완료될 때까지 기다립니다(사진의 크기와 하드웨어 성능에 따라 시간이 달라집니다).
   • 처리가 완료되면 결과가 인터페이스에 표시되고 다음과 같이 저장됩니다../output/폴더.
   • "창 종료"를 클릭하여 프로그램을 닫습니다.

주요 기능 작동 절차

1. 스크래치 수리

• 적용 가능한 시나리오사진에 물리적인 흠집이 있는 것이 분명합니다.
• 작동 방법::
  1. 명령줄에 다음을 추가합니다.--with_scratch매개변수를 입력하거나 GUI에서 관련 옵션을 선택합니다(지원되는 경우).
  2. 시스템이 긁힌 부분을 자동으로 감지하여 복구하며, 이 과정에서 시간이 조금 더 걸릴 수 있습니다.
  3. 출력물을 확인하면 긁힌 부분이 매끄럽게 채워져 있어야 합니다.

2. 얼굴 향상

• 적용 가능한 시나리오사진의 얼굴이 흐릿하거나 디테일이 누락되었습니다.
• 작동 방법::
  1. 보안Face_Enhancement/디렉토리에 있는 모델이 올바르게 로드되었습니다.
  2. 실행 시 시스템이 자동으로 얼굴 영역을 인식하여 미세 조정합니다.
  3. 출력 사진에서 얼굴의 디테일(예: 눈, 입꼬리)이 더 선명해집니다.

3. 고해상도 처리

• 적용 가능한 시나리오: 고해상도 스캔 사진을 수정해야 합니다.
• 작동 방법::
  1. 명령줄에 다음을 추가합니다.--HR매개변수:

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0 --HR
     

  2. 참고: 모델은 기본적으로 256x256 해상도로 학습되므로 해상도가 높을수록 더 많은 계산 리소스가 필요할 수 있습니다.

주의

• 경로 문제: 절대 경로를 사용하는 것이 좋습니다(예/home/user/test_images)를 사용하여 실수를 방지하세요.
• 성능 최적화프로젝트가 작동 속도에 최적화되지 않아 큰 사진의 처리 속도가 느려질 수 있습니다.
• 해상도 제한256x256 픽셀에서 최상의 결과를 얻을 수 있으며, 크기가 큰 해상도는 분할해야 할 수 있습니다.

위의 단계를 통해 사용자는 개인적인 추억이든 연구 목적이든 오래된 사진 복원을 쉽게 시작하고 만족스러운 결과를 얻을 수 있습니다.