DH 라이브: 30/40 시리즈 그래픽 카드에서 원활한 실시간 상호작용을 위한 AI 디지털 휴먼

일반 소개

DH_live는 샘플리스 학습을 기반으로 하는 실시간 라이브 디지털 휴먼 프로젝트로, 사용자에게 원활하고 인터랙티브한 라이브 스트리밍 경험을 제공하는 것을 목표로 합니다. 이 프로젝트는 NVIDIA 30 및 40 시리즈 그래픽 카드를 지원하며 25fps 이상에서 실시간으로 실행할 수 있습니다. 사용자는 간단한 단계로 디지털 휴먼을 생성하고 사용할 수 있으며, 오디오 기반 비디오 생성 및 실시간 상호작용이 가능합니다.

기능 목록

• 실시간 성능: 원활한 실시간 인터랙티브 경험을 위해 NVIDIA 30 및 40 시리즈 그래픽 카드를 지원합니다.
• 소수 학습: 시스템은 소수의 예제를 통해 학습하여 현실적인 응답을 생성할 수 있습니다.
• 동영상 준비: 데이터 준비 스크립트를 사용하여 동영상 데이터를 준비합니다.
• 오디오 드라이버: 오디오 파일을 통해 디지털 피플을 구동하여 동기화된 비디오를 생성할 수 있도록 지원합니다.
• 실시간 마이크 입력: 마이크를 통한 실시간 조작을 지원합니다.

도움말 사용

환경 생성 및 모델 파일 압축 해제

1. 가상 환경을 만들고 활성화합니다:

   conda create -n dh_live python=3.12
   conda activate dh_live
   

2. 종속성을 설치합니다:

   pip install torch --index-url https://download.pytorch.org/whl/cu124
   pip install -r requirements.txt
   

3. 모델 파일의 압축을 풉니다:
   • Linux.

     cd checkpoint
     cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
     gzip -d -c render.pth.gz > render.pth
     

   • Windows: 7zip 또는 WinRAR을 사용하여 체크포인트 파일을 추출합니다.

비디오 준비

1. 활용 data_preparation.py 스크립트 준비 동영상:

   python data_preparation.py YOUR_VIDEO_PATH
   

   결과는 ./video_data 카탈로그.

오디오 파일로 실행하기

1. 오디오 파일은 샘플 속도가 16kHz, 16비트 모노인 .wav 형식이어야 합니다.
2. 데모 스크립트를 실행합니다:

   python demo.py video_data/test video_data/audio0.wav 1.mp4
   

실시간 운영

1. 마이크를 사용하여 실시간으로 작업할 수 있습니다:

   python demo_avatar.py
   

일반적인 문제

• 모델 파일의 압축을 풀지 못했습니다.모든 하위 볼륨 파일이 완전하고 올바르게 압축이 풀렸는지 확인하세요.
• 잘못된 오디오 파일 형식규격에 맞는 .wav 파일을 사용하세요.

DH 라이브 원클릭 설치 관리자

링크: https://pan.quark.cn/s/5a34bc9c2f76
추출 코드: sZT4