SVFR: 비디오 얼굴 복구, 흑백, 흐릿한 인물 오래된 비디오 복구를 구현하기 위한 통합 프레임워크

일반 소개

SVFR(안정적인 비디오 얼굴 복원)은 비디오 얼굴 복원을 위한 통합 프레임워크로, 기본 얼굴 복원(BFR), 컬러링, 복구 및 이들의 조합 작업을 지원합니다. 이 프레임워크는 제너레이티브 및 모션 프리어를 활용하여 통합된 얼굴 복원 프레임워크를 통해 작업별 정보를 통합하여 복원 품질과 시간적 안정성을 개선하며, SVFR은 비디오 얼굴 복원에서 시간적 일관성, 모션 아티팩트 및 제한된 고품질 비디오 데이터 문제를 해결하기 위해 설계되었습니다. 이 프로젝트는 Zhiyao Wang 등이 개발했으며, 학술 및 비상업적 연구를 위해 코드와 사전 훈련된 모델을 사용할 수 있는 GitHub에서 오픈소스로 공개되어 있습니다.

기능 목록

• 기본 얼굴 복원(BFR)저화질 동영상의 얼굴 디테일을 수정합니다.
• 채색흑백 동영상에 컬러를 추가합니다.
• 수정동영상에서 누락된 부분을 수정합니다.
• 작업 포트폴리오BFR, 컬러링 및 복원의 모든 조합이 지원됩니다.
• 시간 일관성생성 및 모션 이전을 통해 비디오 복원의 시간적 일관성을 향상시킵니다.
• 사전 교육 모델사용자가 빠르게 시작할 수 있도록 사전 학습된 다양한 모델을 제공합니다.

도움말 사용

설치 프로세스

1. 콘다 환경 만들기::

   conda create -n svfr python=3.9 -y
conda activate svfr

2. PyTorch 설치예를 들어 하드웨어에 적합한 CUDA 버전을 선택합니다:

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2

3. 종속성 설치::

   pip install -r requirements.txt

4. 체크포인트 다운로드: 수동으로 다운로드하여 지정된 디렉터리에 배치합니다.

사용 프로세스

1. 단일 작업 추론::

   python3 infer.py --config config/infer.yaml --task_ids 0 --input_path ./assert/lq/lq1.mp4 --output_dir ./results/

• task_id: 0 기본 얼굴 복원(BFR)을 나타냅니다.
• task_id: 1 색상을 나타냅니다.
• task_id: 2 복원을 나타냅니다.

1. 멀티태스킹 조합 추론::

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/

• task_ids: 0,1 BFR 및 색상을 나타냅니다.
• task_ids: 0,1,2 BFR, 컬러링 및 복원을 나타냅니다.

1. 리페어 마스크로 추론하기::

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/ --mask_path ./assert/mask/lq3.png

세부 기능 작동 흐름

1. 기본 얼굴 복원(BFR)::
   • 입력 비디오 경로와 출력 디렉토리를 선택합니다.
   • 작업 ID를 0으로 설정합니다.
   • 추론 명령을 실행하여 복구된 동영상을 생성합니다.
2. 채색::
   • 입력 비디오 경로와 출력 디렉토리를 선택합니다.
   • 작업 ID를 1로 설정합니다.
   • 추론 명령을 실행하여 컬러 동영상을 생성합니다.
3. 수정::
   • 입력 비디오 경로와 출력 디렉토리를 선택합니다.
   • 작업 ID를 2로 설정합니다.
   • 추론 명령을 실행하여 복구된 동영상을 생성합니다.
4. 작업 포트폴리오::
   • 입력 비디오 경로와 출력 디렉토리를 선택합니다.
   • 작업 ID를 결합된 작업의 ID로 설정합니다(예: BFR 및 색칠의 경우 0,1).
   • 추론 명령을 실행하여 결합된 작업 처리 후 비디오를 생성합니다.
5. 리페어 마스크로 추론하기::
   • 입력 비디오 경로, 출력 디렉토리 및 마스크 파일 경로를 선택합니다.
   • 작업 ID를 결합된 작업의 ID로 설정합니다(예: BFR, 색칠 및 복구의 경우 0,1,2).
   • 추론 명령을 실행하여 복구 마스크가 처리된 동영상을 생성합니다.