인피니티휴먼 - 바이트가 ZJU와 협업하여 출시한 롱 비디오 디지털 휴먼 생성 모델

인피니티휴먼이란 무엇인가요?

인피니티휴먼은 바이트댄스와 절강대학교가 공동으로 출시한 상용 등급의 장시간 오디오 기반 캐릭터 동영상 생성 모델입니다. 이 모델은 오디오 기반이며 고해상도, 장시간, 시각적으로 일관된 캐릭터 동영상을 생성할 수 있습니다. 이 모델은 자연스러운 손동작, 아이덴티티 일관성, 립싱크를 통해 다양한 캐릭터 스타일의 동영상을 생성할 수 있으며, 가상 앵커, 온라인 교육, 고객 서비스, 영화 및 텔레비전 제작, 가상 소셜 네트워킹 및 기타 분야에 적합하여 AI 디지털 휴먼 분야에서 새로운 혁신을 가져올 것입니다.

인피니티휴먼 기능

• 장시간 동영상 생성다양한 애플리케이션 시나리오에 적합한 고해상도, 장시간 캐릭터 애니메이션 동영상 생성을 지원하여 시각적 일관성과 안정성을 유지합니다.
• 자연스러운 손 움직임손별 보상 메커니즘을 기반으로 자연스럽고 정확하며 음성과 동기화된 손동작을 생성하여 영상의 사실감을 높입니다.
• 신원 일관성포즈 가이드 리파이너와 첫 번째 프레임을 시각적 앵커로 사용하면 누적 오류를 줄이고 장시간 동영상에서 캐릭터 아이덴티티의 장기적인 일관성을 보장할 수 있습니다.
• 립싱크생성된 동영상에서 캐릭터의 입술 움직임이 오디오와 잘 동기화되어 동영상의 전체적인 자연스러움이 향상되도록 합니다.
• 다양한 캐릭터 스타일가상 앵커, 온라인 교육, 고객 서비스 등 다양한 애플리케이션 시나리오의 요구 사항을 충족할 수 있도록 다양한 스타일의 캐릭터 생성을 지원합니다.

InfinityHuman의 핵심 강점

• 안정적고유한 생성 방식은 장시간 생성 시 오류의 누적을 효과적으로 줄여 전체 과정에서 동영상이 안정적으로 유지되어 사진의 '붕괴'를 방지할 수 있습니다.
• 손 움직임 최적화손의 움직임을 자연스럽고 부드럽게 만들고 음성 및 표정과 고도로 동기화하여 아바타의 커뮤니케이션을 더욱 사실적으로 만드는 특수 메커니즘을 기반으로 합니다.
• 정확한 신원 확인다음은 시각적 앵커와 안정화된 제스처 시퀀스를 사용하여 '얼굴이 바뀌는' 현상 없이 캐릭터의 정체성을 오랜 시간 동안 일관되게 유지하는 방법의 예시입니다.
• 입술 동기화 및 정밀도저해상도 모션 가이드 및 리파이너를 사용하여 입술의 움직임을 오디오와 매우 잘 일치시켜 동영상의 전체적인 자연스러움을 향상시킵니다.
• 선도적인 성능여러 주요 지표에서 기존 기술을 능가하며 우수한 비디오 생성 품질을 입증하고 업계 발전을 주도합니다.
• 광범위한 적응다양한 시나리오의 요구 사항을 충족하는 여러 스타일의 역할을 생성할 수 있으며, 강력한 범용성과 유연성을 제공합니다.

인피니티휴먼의 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://infinityhuman.github.io/
• arXiv 기술 논문:: https://arxiv.org/pdf/2508.20210

InfinityHuman의 대상

• 콘텐츠 크리에이터고품질 아바타 동영상 콘텐츠를 빠르게 생성하고, 가상 앵커 동영상, 애니메이션 단편 영화 등을 제작하는 데 적합한 제작 효율성을 향상시킵니다.
• 교육자보다 인터랙티브하고 매력적인 온라인 교육 과정 개발에 사용되어 AI 교사가 보다 자연스럽고 생동감 있는 방식으로 가르칠 수 있어 교육 효과를 높일 수 있습니다.
• 영화 및 TV 제작팀애니메이션 영화, TV 시리즈 등을 제작할 때 고품질 캐릭터 애니메이션을 빠르게 생성하여 수작업 드로잉 및 포스트 프로덕션 복원 작업량을 줄일 수 있습니다.
• 고객 서비스 업계 실무자고객 서비스 분야에 보다 생생한 디지털 고객 서비스 이미지를 제공하여 고객과 고객 서비스 간의 커뮤니케이션이 보다 자연스럽고 인간적으로 이루어지고 고객 경험을 개선할 수 있도록 합니다.
• 가상 소셜 플랫폼 개발자가상 현실(VR) 및 증강 현실(AR) 가상 소셜 시나리오에서 사용자에게 보다 사실적이고 몰입감 있는 아바타 상호 작용 경험을 제공하여 사용자 간의 커뮤니케이션을 강화합니다.