라이트아바타: 오디오 기반의 실시간 인터랙티브 디지털 인물 2D 초상화, CPU에서 30fps로 실행됨

14.9K 00

일반 소개

LiteAvatar는 오디오 기반 2D 아바타에서 실시간으로 얼굴 애니메이션을 생성하는 데 중점을 둔 HumanAIGC 팀(Ali의 일부)이 개발한 오픈 소스 툴입니다. CPU에서만 초당 30프레임(fps)으로 실행되므로 실시간 2D 화상 채팅이나 모바일 디바이스의 아바타 애플리케이션과 같은 저전력 시나리오에 특히 적합하며, 음성 인식(ASR)과 입 예측을 결합하여 수신 오디오 기능을 기반으로 동기화된 얼굴 표정과 입 움직임을 부드럽고 자연스러운 애니메이션 효과와 함께 생성하는 LiteAvatar입니다. 이 프로젝트는 개발자가 무료로 액세스하여 필요에 따라 개발할 수 있도록 전체 코드와 설명서를 제공하는 GitHub에서 호스팅됩니다. 엔터테인먼트, 교육, 가상 호스팅 등 어떤 분야에서든 이 도구는 가벼운 무게와 고성능의 완벽한 조합을 보여줍니다.

LiteAvatar 실시간 대화형 버전 배포: https://github.com/HumanAIGC-Engineering/OpenAvatarChat

기능 목록

오디오 기반 애니메이션 생성오디오를 입력하여 아바타의 얼굴 표정과 입 애니메이션을 실시간으로 생성합니다.
가벼운 작동GPU 지원 없이 CPU에만 의존하여 30fps의 부드러운 애니메이션을 구현할 수 있습니다.
입 동기화 예측ASR 모델은 오디오 특징을 추출하고 음성 콘텐츠와 일치하는 입 움직임을 생성하는 데 사용됩니다.
모바일 장치 지원저전력 기기에 최적화된 모델로 휴대폰이나 태블릿에 적합합니다.
오픈 소스 지원전체 소스 코드가 제공되므로 사용자가 기능을 사용자 지정하거나 다른 프로젝트에 통합할 수 있습니다.
실시간 처리 기능오디오 입력의 지연 시간이 짧은 처리를 통해 애니메이션이 사운드와 고도로 동기화되도록 합니다.

도움말 사용

라이트아바타는 GitHub 기반의 오픈 소스 프로젝트로, 사용자가 설치 및 사용하려면 특정 기술 기반이 필요합니다. 다음은 이 오디오 기반 2D 아바타 도구를 빠르게 시작하는 데 도움이 되는 자세한 설치 및 사용 가이드입니다.

설치 프로세스

환경 준비
- 컴퓨터에 Python 3.8 이상이 설치되어 있는지 확인합니다. 다음 명령을 사용하여 이 작업을 수행할 수 있습니다. python --version 버전을 확인합니다.
- GitHub에서 코드를 다운로드하는 데 사용되는 Git을 설치합니다. Windows 사용자는 공식 웹사이트에서 Git을 다운로드할 수 있으며, Linux 또는 macOS 사용자는 패키지 관리자(예 sudo apt install git).
- 명령줄을 지원하는 터미널(예: CMD, Windows용 PowerShell 또는 Linux/macOS용 터미널)을 준비합니다.
라이트아바타 프로젝트 다운로드
- 터미널을 열고 다음 명령을 입력하여 코드 리포지토리를 복제합니다:
```
git clone https://github.com/HumanAIGC/lite-avatar.git
```
- 복제가 완료되면 프로젝트 디렉토리로 이동합니다:
```
cd lite-avatar
```
종속성 설치
- 이 프로젝트에는 일부 Python 라이브러리 지원이 필요합니다. 다음 명령을 실행하여 종속성을 설치합니다:
```
pip install -r requirements.txt
```
- 다음과 같은 경우 requirements.txt 문서에 나열된 특정 종속성은 없으며 프로젝트 문서를 참조할 수 있으며 일반적인 종속성에는 다음이 포함될 수 있습니다. numpy및torch(CPU 버전),modelscope 등 수동 설치의 예
```
pip install numpy torch modelscope
```
설치 확인
- 설치가 완료된 후 간단한 테스트 명령을 실행합니다(정확한 명령은 프로젝트 README를 참조하세요):
```
python demo.py
```
- 오류가 보고되지 않으면 환경이 성공적으로 구성된 것입니다.

사용법

LiteAvatar의 핵심 기능은 오디오 기반 아바타에서 애니메이션을 생성하는 것입니다. 자세한 단계는 다음과 같습니다:

오디오 파일 준비

오디오 형식다음과 같은 일반적인 형식을 지원합니다. .wav 어쩌면 .mp3. 최상의 결과를 얻으려면 샘플링 속도가 약 16kHz인 선명한 모노 오디오를 사용하는 것이 좋습니다.
오디오 소스녹음한 음성 또는 동영상에서 추출한 오디오일 수 있습니다. 권장 도구: Audacity(무료 오디오 편집 소프트웨어).

실시간 애니메이션 실행

트리거 절차
- 프로젝트 디렉토리에서 메인 스크립트를 실행합니다( main.py(구체적인 파일 이름은 README를 기준으로 합니다):
```
python main.py --audio_path your_audio_file.wav
```
- 매개변수 설명:
  - --audio_path: 오디오 파일 경로를 지정합니다.
  - --output: 생성된 애니메이션 동영상을 저장할 경로를 지정하는 옵션 매개변수이며, 기본값은 바로 표시될 수 있습니다.
실시간 입력 테스트
- 마이크 입력이 지원되는 경우 실시간 모드를 사용해 보세요(README에서 이 기능을 제공하는지 확인해야 함). 명령 예시:
```
python main.py --live
```
- 이 프로그램은 마이크 입력을 수신하고 실시간으로 애니메이션을 생성합니다.

결과 보기

애니메이션 출력실행 후 프로그램이 화면에 아바타의 애니메이션을 표시하거나 비디오 파일( output.mp4).
조정 매개변수애니메이션이 만족스럽지 않은 경우 설명서를 참조하여 프레임 속도 또는 입 감도(코드 구현에 따라 다름)와 같은 모델 매개 변수를 조정할 수 있습니다.

주요 기능 작동

오디오 기반 애니메이션 생성

이동::
1. 오디오 파일을 준비합니다(예 test.wav.
2. 실행 명령을 실행합니다:
```
python main.py --audio_path test.wav --output result.mp4
```
3. 이 프로그램은 ModelScope의 ASR 모델을 호출하여 오디오 특징을 추출한 다음 입 예측 모델을 통해 애니메이션을 생성합니다.
효과예를 들어 "안녕하세요"라고 말할 때는 입이 벌어지고 노래를 부를 때는 리듬이 강해지는 등 아바타의 입 모양과 표정이 오디오에 따라 바뀝니다.

모바일 디바이스 배포

전제 조건모델을 경량 형식(예: ONNX)으로 내보내고 모바일에 통합해야 합니다.
rig::
1. 모델을 로컬로 변환(프로젝트 문서에 추가할 특정 스크립트, 이 예제에서는 다음과 같이 가정합니다. export.py):
```
python export.py --model lite_avatar_model.pth --output lite_avatar.onnx
```
2. 최고 사령관(군) .onnx 파일은 모바일에 배포되고 NCNN과 같은 ONNX 지원 프레임워크를 사용하여 실행됩니다.
결국휴대폰의 저전력 실시간 애니메이션으로, 화상 채팅 애플리케이션에 적합합니다.

주의

성능 최적화프레임 속도가 느리게 실행되는 경우 구성 파일 또는 명령줄 매개변수를 수정하여 프레임 속도를 낮출 수 있습니다(예: 30fps에서 15fps로).
테스트 중 구성 요소 조정오류가 발생하면 종속성 버전이 일치하는지 확인하거나 GitHub 이슈 페이지에서 커뮤니티 도움말을 확인하세요.
확장성새로운 기능(예: 이모티콘 제어)을 추가하려면 프로젝트를 포크하고 코드를 수정할 수 있으며, HumanAIGC 팀은 기여자가 풀 리퀘스트를 제출하는 것을 환영합니다.

이 단계를 통해 LiteAvatar를 쉽게 설치하고 사용하여 오디오 기반 아바타 애니메이션 생성 프로세스를 경험할 수 있습니다. 이 도구는 개발 테스트와 실제 애플리케이션 모두에 효율적이고 편리한 솔루션을 제공합니다.