DisPose: 사람의 자세를 정밀하게 제어하여 춤추는 여성을 만드는 동영상 생성

일반 소개

DisPose는 제어된 캐릭터 이미지 애니메이션 생성에 초점을 맞춘 혁신적인 오픈 소스 인공지능 프로젝트입니다. 연구팀이 개발하고 깃허브에서 오픈소스화한 이 프로젝트는 고급 딥러닝 기법을 사용하여 골격 포즈 정보를 분해함으로써 정밀한 캐릭터 애니메이션 제어를 실현합니다. DisPose의 핵심 혁신은 희박한 골격 포즈 정보를 모션 필드 안내와 키 포인트 대응이라는 두 가지 핵심 구성 요소로 분해하는 것이며, 이 독특한 접근 방식을 통해 보다 자연스럽고 부드러운 애니메이션을 생성합니다. 이 독특한 접근 방식 덕분에 생성된 애니메이션은 더욱 자연스럽고 부드러우며 제어가 용이합니다. 이 프로젝트는 완전한 코드 구현을 제공할 뿐만 아니라 연구자와 개발자가 이 기술을 빠르게 배포하고 사용할 수 있도록 사전 학습된 모델도 포함하고 있습니다.

유사한 항목:StableAnimator: 캐릭터의 특징을 유지하는 고품질 비디오 애니메이션을 생성합니다.

기능 목록

• 사람 자세 감지 및 키 포인트 추출
• 스포츠 필드 생성 및 제어
• 캐릭터 이미지 애니메이션 합성
• 여러 관절의 정밀한 제어
• 얼굴 및 손 디테일
• 일괄 비디오 처리 기능
• 자세 마이그레이션 및 모션 리디렉션
• 실시간 태도 추정 및 추적
• 사용자 지정 애니메이션 제어 매개변수 조정
• 고품질 애니메이션 출력

도움말 사용

1. 환경 설정

DisPose를 사용하려면 다음과 같은 기본 환경 구성이 필요합니다:

• Python 3.10 이상
• PyTorch 2.0.1 이상 버전
• TorchVision 0.15.2 이상
• CUDA 12.4(GPU 가속용)

설치 단계:

# 创建conda环境
conda create -n dispose python==3.10
conda activate dispose
# 安装依赖
pip install -r requirements.txt

2. 모델 준비

1. 허깅 페이스에서 사전 학습된 모델 가중치 파일을 다운로드하세요:
   • https://huggingface.co/lihxxx/DisPose 방문하기
   • DisPose.pth 파일 다운로드
   • 파일을 . /pretrained_weights/ 디렉터리에 저장합니다.

3. 핵심 기능 사용 흐름

3.1 태도 감지

이 시스템은 사람의 자세를 감지하는 DWPose 감지기를 사용하여 다음과 같은 주요 포인트를 식별합니다:

• 신체 골격의 관절 포인트 (18)
• 얼굴 특징 포인트 (68)
• 손의 주요 포인트(21개/손)

3.2 이미지 전처리

# 处理参考图像
ref_image = load_image(image_path)
pose_img, ref_pose = get_image_pose(ref_image)

3.3 비디오 처리

# 处理视频序列
video_pose, body_points, face_points = get_video_pose(
video_path=video_path,
ref_image=ref_image,
sample_stride=1
)

3.4 애니메이션 생성 제어

이 시스템은 애니메이션 생성을 제어하기 위한 몇 가지 파라미터를 제공합니다:

• 경기장 강도 조절
• 키 포인트는 가중치에 해당합니다.
• 자세 이동 정도
• 타이밍 매끄러움

4. 고급 기능에 대한 설명

1. 자세 마이그레이션:
   • 소스 비디오에서 대상 캐릭터로 포즈 마이그레이션 지원
   • 캐릭터의 정체성을 동일하게 유지
   • 다양한 신체 사이즈 차이에 따라 자동으로 적응합니다.
2. 액션 편집기:
   • 로컬 작업 수정 지원
   • 키프레임 편집 기능 제공
   • 움직임의 속도와 진폭 조절 가능
3. 일괄 처리 기능:
   • 일괄 비디오 처리 지원
   • 병렬 처리 옵션 제공
   • 자동 리소스 스케줄 최적화

5. 주의 사항

• 입력 이미지의 화질이 선명하고 사람들의 포즈가 완전히 보이는지 확인합니다.
• GPU 비디오 메모리는 최소 8GB 이상을 권장합니다.
• 고해상도 동영상을 처리할 때 sample_stride 매개변수를 조정합니다.
• 종속성 패키지의 버전을 정기적으로 확인하고 업데이트하세요.
• 대량의 데이터를 처리하기 전에 소규모 테스트를 수행하는 것이 좋습니다.

6. 일반적인 문제 해결

1. 메모리 문제:
   • release_memory()를 사용하여 사용하지 않는 리소스를 해제합니다.
   • 배치 크기를 적절하게 조정
   • 저해상도 테스트
2. 성능 최적화:
   • GPU 가속 사용
   • 적절한 샘플링 단계 크기 사용
   • 최적화된 입력 이미지 해상도
3. 품질 개선:
   • 고품질 참조 이미지 사용
   • 모델 매개변수 조정
   • 후처리 최적화 수행