소닉: 오디오 기반 인물 이미지로 생생한 얼굴 표정이 담긴 디지털 데모 동영상 생성

일반 소개

Sonic은 글로벌 오디오 인식에 초점을 맞춘 혁신적인 플랫폼으로, 오디오를 기반으로 생생한 인물 애니메이션을 생성하도록 설계되었습니다. 텐센트와 저장대학교의 연구팀이 개발한 이 플랫폼은 오디오 정보를 사용하여 얼굴 표정과 머리 움직임을 제어하여 자연스럽고 유연한 애니메이션 동영상을 생성하며, Sonic의 핵심 기술에는 컨텍스트 강화 오디오 학습, 모션 분리 컨트롤러, 시간 인식 위치 이동 융합 모듈이 포함되어 있습니다. 이러한 기술을 통해 Sonic은 다양한 스타일의 이미지와 다양한 유형의 오디오 입력으로 안정적이고 사실적인 롱폼 비디오를 생성할 수 있습니다.

이 프로젝트의 코드와 가중치는 내부 오픈 소스 검토를 통과한 후 공개될 예정입니다(이미 공개됨).Windows 사용자를 위한 설치 지침.

데모: https://huggingface.co/spaces/xiaozhongji/Sonic

기능 목록

문맥 강화 오디오 학습긴 시간 세그먼트에서 오디오 지식을 추출하면 얼굴 표정과 입술 움직임에 대한 선험적 정보를 얻을 수 있습니다.
모션 디커플링 컨트롤러머리와 표정의 움직임을 독립적으로 제어하여 더욱 자연스러운 애니메이션을 구현합니다.
시간 인식 위치 이동 융합글로벌 오디오 정보를 융합하여 길고 안정적인 비디오를 생성합니다.
다양한 비디오 생성다양한 스타일의 이미지와 동영상 생성을 위한 여러 해상도를 지원합니다.
오픈 소스 및 비공개 소스 방식과의 비교소닉의 강점인 표현력과 자연스러운 머리 움직임을 보여줍니다.

도움말 사용

설치 프로세스

Sonic 플랫폼은 현재 내부 오픈 소스 검토 중이며 검토가 완료되면 코드와 가중치가 GitHub에 업로드될 예정입니다. 사용자는 다음 단계에 따라 Sonic을 설치하여 사용할 수 있습니다:

Sonic의 GitHub 페이지를 방문하세요.
복제 창고:git clone https://github.com/jixiaozhong/Sonic.git
종속성을 설치합니다:pip install -r requirements.txt
사전 학습된 모델 가중치를 다운로드하여 지정된 디렉토리에 배치합니다.

사용 프로세스

데이터 입력 준비애니메이션을 위해 생성해야 하는 비디오 이미지와 오디오 파일을 수집합니다.
생성된 스크립트 실행: 예를 들어 제공된 스크립트를 사용하여 생성 프로세스를 실행합니다:python generate.py --image input.jpg --audio input.wav
조정 매개변수: 최상의 결과를 얻으려면 필요에 따라 생성 스크립트에서 매개변수를 조정하세요.
출력 보기생성된 동영상은 지정된 출력 디렉토리에 저장됩니다.

세부 기능 작동

문맥 강화 오디오 학습긴 오디오 세그먼트에서 학습함으로써 Sonic은 오디오의 미묘한 변화를 포착하여 보다 자연스러운 표정과 입술 움직임을 연출할 수 있습니다.
모션 디커플링 컨트롤러컨트롤러는 헤드 모션과 표정 모션을 개별적으로 처리하여 생성된 애니메이션을 더욱 사실적으로 만듭니다. 사용자는 컨트롤러 파라미터를 조정하여 애니메이션 효과를 최적화할 수 있습니다.
시간 인식 위치 이동 융합이 모듈은 글로벌 오디오 정보를 융합하여 생성된 비디오가 장시간 동안 안정적으로 유지되도록 합니다. 사용자는 시간 창 매개변수를 조정하여 동영상의 부드러움과 안정성을 제어할 수 있습니다.
다양한 비디오 생성소닉은 다양한 스타일의 이미지(예: 만화, 실사)와 다양한 해상도의 비디오 생성을 지원합니다. 사용자는 필요에 따라 적절한 이미지 및 오디오 입력을 선택하고 기대에 부응하는 비디오 효과를 생성할 수 있습니다.