StableAnimator: 캐릭터의 특징을 유지하는 고품질 비디오 애니메이션을 생성합니다.

일반 소개

스테이블애니메이터는 후처리 없이 레퍼런스 이미지와 일련의 포즈를 기반으로 고품질 비디오를 합성할 수 있는 혁신적인 엔드투엔드 아이덴티티 보존 비디오 확산 프레임워크입니다. 푸단대학교, 마이크로소프트 리서치 아시아, 후야, 카네기멜론대학교의 연구진이 협력하여 개발한 StableAnimator는 비디오의 정체성 일관성을 보장합니다. 비디오의 아이덴티티 일관성을 보장합니다. 이 프레임워크는 여러 벤치마크에서 우수한 성능을 보이며 정체성을 보존하는 고충실도의 인물 애니메이션을 생성합니다.

기능 목록

• 신원 보존 비디오 생성참조 이미지와 포즈 시퀀스를 기반으로 고품질 동영상을 생성하여 아이덴티티의 일관성을 보장합니다.
• 후처리 없음결과 동영상에는 얼굴 교체 도구나 얼굴 복원 모델을 사용한 후처리가 필요하지 않습니다.
• 글로벌 콘텐츠 인식 얼굴 인코더이미지 임베딩과 상호 작용하여 얼굴 임베딩을 더욱 최적화합니다.
• 배포 인식 ID 어댑터시간 계층 간섭을 방지하면서 ID 일관성을 유지합니다.
• 해밀턴-자코비-벨맨 최적화추론 과정에서 HJB 방정식을 풀면 얼굴 품질이 더욱 향상됩니다.

도움말 사용

설치 프로세스

1. 클론 창고터미널에서 다음 명령을 실행하여 StableAnimator 리포지토리를 복제합니다:

   git clone https://github.com/Francis-Rings/StableAnimator.git

2. 종속성 설치저장소 디렉토리로 이동하여 필요한 종속 요소를 설치합니다:

   cd StableAnimator
pip install -r requirements.txt

3. 애플리케이션 실행다음 명령을 사용하여 애플리케이션을 시작합니다:

   python app.py

사용 프로세스

1. 참조 이미지 및 포즈 시퀀스 준비하기애니메이션을 생성하는 데 사용할 참조 이미지와 일련의 포즈 이미지가 있는지 확인합니다.
2. 추론 스크립트 실행다음 명령을 사용하여 추론 스크립트를 실행하여 비디오 애니메이션을 생성합니다:

   python inference_basic.py --reference_image path_to_reference_image --pose_sequence path_to_pose_sequence

3. 생성된 결과 보기생성된 동영상은 지정된 출력 디렉토리에 저장되며 모든 동영상 플레이어를 사용하여 결과를 확인할 수 있습니다.

세부 기능 작동

• 신원 보존 비디오 생성참조 이미지와 포즈 시퀀스를 제공함으로써 StableAnimator는 고품질 비디오 애니메이션을 생성하여 비디오 속 인물의 신원이 참조 이미지와 일치하도록 보장할 수 있습니다.
• 글로벌 콘텐츠 인식 얼굴 인코더이 모듈은 이미지 임베딩과 상호 작용하여 얼굴 임베딩을 더욱 최적화하여 생성된 동영상에서 얼굴 디테일의 충실도를 높입니다.
• 배포 인식 ID 어댑터비디오 생성 시 모듈은 시간 레이어 간섭을 방지하는 정렬 기술을 통해 비디오의 아이덴티티 일관성을 보장합니다.
• 해밀턴-자코비-벨맨 최적화생성된 비디오의 얼굴 품질과 일관성은 추론 과정에서 HJB 방정식을 풀어서 더욱 향상됩니다.