박판-스플라인-모션 모델: 정적 인물 맵 레퍼런스 비디오 인물 모션 생성 비디오

10.3K 00

일반 소개

박판 스플라인 모션 모델은 CVPR 2022에서 발표된 획기적인 이미지 애니메이션 생성 프로젝트입니다. 이 프로젝트는 박판 스플라인 변환 이론을 기반으로 하며, 주행 영상을 기반으로 정적 이미지의 고품질 애니메이션을 구현할 수 있습니다. 이 프로젝트는 엔드투엔드 비지도 학습 프레임워크를 채택하여 소스 이미지와 주행 영상 사이에 포즈 차이가 큰 상황을 처리하는 데 특히 효과적입니다. 이 모델은 얇은 스플라인 모션 추정과 다중 해상도 마스킹을 혁신적으로 도입하여 보다 자연스럽고 부드러운 애니메이션 효과를 생성할 수 있습니다. 이 프로젝트는 전체 코드 구현을 오픈소스로 공개할 뿐만 아니라 사전 학습된 모델과 온라인 데모도 제공하여 연구자와 개발자가 이 기술을 쉽게 재현하고 적용할 수 있도록 지원합니다.

공개 이미지 대변인이 퇴사하면 어떻게 하나요? 대변인 이미지 사진을 보관한 다음 다른 사람이 동영상을 녹화하도록 하면 얼굴 스와핑 기술과 유사하게 대변인 사진이 녹화된 동영상의 동작을 모방하여 동영상을 생성할 수 있습니다.

Thin-Plate-Spline-Motion-Model：静态人像图参考视频人像动作生成视频

기능 목록

정적 이미지 애니메이션 생성
여러 데이터 세트(복스셀럽, 태극권, TED 강연 등)에 대한 교육 지원
사전 학습된 모델을 다운로드할 수 있습니다.
웹 기반 온라인 프레젠테이션 지원(허깅 페이스 스페이스 통합)
온라인에서 실행되는 Google Colab 지원
멀티 GPU 트레이닝 지원
AVD(고급 비디오 디코더) 네트워크 트레이닝 기능 제공
비디오 재구성 평가 기능
Python API 호출 지원
도커 환경 지원

도움말 사용

1. 환경 설정

이 프로젝트에는 Python 3.x 환경(Python 3.9 권장)이 필요하며 설치 단계는 다음과 같습니다:

프로젝트 웨어하우스 복제:

git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git
cd Thin-Plate-Spline-Motion-Model

종속성을 설치합니다:

pip install -r requirements.txt

2. 데이터 준비

이 프로젝트는 여러 데이터 집합을 지원합니다:

MGif 데이터 세트: Monkey-Net 프로젝트를 참조하여 가져옵니다.
타이치HD 및 복스셀럽 데이터 세트: 비디오 전처리 가이드라인에 따른 처리
TED 강연 데이터 세트: MRAA 프로젝트 가이드라인 따르기

전처리 데이터 세트 다운로드(예: VoxCeleb):

# 下载后合并解压
cat vox.tar.* > vox.tar
tar xvf vox.tar

3. 모델 교육

기본 교육 주문:

CUDA_VISIBLE_DEVICES=0,1 python run.py --config config/dataset_name.yaml --device_ids 0,1

AVD 네트워크 교육:

CUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}/checkpoint.pth.tar' --config config/dataset_name.yaml

4. 비디오 재구성 평가

CUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config/dataset_name.yaml --checkpoint '{checkpoint_folder}/checkpoint.pth.tar'

5. 그래픽 애니메이션 프레젠테이션

다양한 사용 방법을 제공합니다:

주피터 노트북: demo.ipynb 사용
Python 명령줄:

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4