새드토커: 사진 말하기 만들기 | 입 동기화 오디오 | 합성 입 동기화 비디오 | 무료 디지털 피플

일반 소개

새드토커는 하나의 정지 인물 사진과 오디오 파일을 결합하여 개인화된 메시지, 교육 콘텐츠 등 다양한 시나리오에 맞는 사실적인 말하는 머리 동영상을 제작하는 오픈 소스 툴입니다. ExpNet 및 PoseVAE와 같은 혁신적인 3D 모델링 기술을 사용하여 미묘한 표정과 머리의 움직임을 포착하는 데 탁월합니다. 사용자는 메시지, 교육 또는 마케팅과 같은 개인 및 상업 프로젝트 모두에 SadTalker 기술을 사용할 수 있습니다.

권장 개선 사항:SVLS: 인물 비디오를 사용하여 디지털 인물을 생성하도록 개선된 새드토커이번에 새롭게 추가된 디지털 인물은 사진으로 생성된 디지털 인물에서 동영상으로 생성된 디지털 인물로 업그레이드되었으며, 프레임 삽입 기술을 통해 더욱 부드럽게 말할 수 있도록 제작되었습니다.

기능 목록

오디오를 사용하여 얼굴 움직임과 표정 동기화하기

• 정지 인물 사진을 모션 비디오로 변환
• 오디오 파일의 동기화된 립싱크 애니메이션

전신 모드 및 표현 향상 기능 지원

구성 가능한 WebUI 인터페이스 제공

이 기술은 Discord 통합을 통해 사용할 수 있습니다.

자세한 개발 및 사용 설명서 제공

윈도우, 리눅스/유닉스, 맥OS 지원

도움말 사용

필요한 Anaconda, Python 및 git을 설치합니다.
설명서에 따라 환경을 설치하고 모델을 다운로드하세요.
기본 WebUI 또는 명령줄 인터페이스를 사용한 애니메이션 생성

주의:

• 최상의 결과를 위해 선명한 정면 인물 사진을 선택하세요.
• 정확한 립싱크를 위해 선명한 오디오 파일 사용

웹에서 사용할 수 있는 리소스에 따라 SadTalker를 사용하기 위한 기본 단계는 다음과 같습니다:

1. 환경 준비:
   • Python 환경이 없는 경우 Anaconda를 설치하세요.
   • NVIDIA 그래픽 카드가 장착된 컴퓨터에서 GPU 가속을 사용하려면 NVIDIA cuda-toolkit을 설치하세요. CPU만 사용하는 경우 처리 속도가 느려집니다.
2. 모델 및 라이브러리 설치:
   • 필요한 모델 및 라이브러리 파일을 다운로드하여 설치합니다. 이러한 파일은 일반적으로 다음과 같은 특정 디렉터리에 배치해야 합니다../checkpoints/어쩌면./gfpgan/weights/.
3. FFMPEG 비디오 라이브러리 설치:
   • 동영상 생성에 필요한 FFMPEG를 설치합니다.
4. TTS 음성 변환 라이브러리 설치:
   • 엣지-tts 라이브러리를 설치하여 텍스트를 음성으로 변환하세요.
5. 웹 UI 사용:
   • 를 클릭하여webui.bat새드토커의 웹 UI를 실행합니다.
   • 웹 UI에서 지정된 영역에 이미지를 업로드하고 디지털 인물을 변환할 때 매개변수를 설정합니다.
   • 디지털 휴먼 비디오를 생성한 후에는 인터페이스에서 결과를 확인할 수 있습니다.
6. 명령줄 사용법:
   • 더 많은 옵션이 필요한 경우, 명령줄 스크립팅을 통해 새드토커를 사용할 수 있습니다.
   • 명령줄을 사용할 때 다음을 실행할 수 있습니다.task.sh파일로 작업을 쉽게 생성할 수 있습니다.
7. 주의:
   • 사용 시 최상의 결과를 얻으려면 이미지의 품질이 좋은지 확인하세요.
   • 다음과 같은 오류가 발생하는 경우libiomp5md.dll충돌, 충돌을 찾으려면app.py에서 환경 변수 설정KMP_DUPLICATE_LIB_OK=TRUE를 클릭하여 문제를 해결합니다.

위의 단계는 웹과 사용자 경험에 대한 튜토리얼을 기반으로 한 것으로, 정확한 작동 방식은 다를 수 있습니다. 가장 최신의 자세한 지침은 SadTalker 공식 문서 및 커뮤니티 튜토리얼을 참조하는 것이 좋습니다.

새드토커 설치

새드토커 윈도우 다운로드

새드토커는 WebUI에서 온라인으로 무료로 실행됩니다.

포옹하는 얼굴  구글 콜랩