HunyuanWorld-Voyager - 텐센트 오픈 소스 초장거리 로밍 세계 모델

훈위안월드-보야저란 무엇인가요?

훈위안 월드-보야저(약어: 혼합)보이저)는 텐센트에서 출시한 업계 최초의 초장거리 로밍 월드 모델로, 네이티브 3D 재구성을 지원합니다. 이 모델은 단일 이미지에서 사용자 정의 카메라 경로의 3D 포인트 클라우드 시퀀스를 생성하고, 사용자 정의 카메라 궤적을 따라 월드 탐험을 위한 3D 일관된 장면 비디오 생성을 지원하며, 효율적이고 직접적인 3D 재구성을 위해 정렬된 깊이 및 RGB 비디오를 생성하는 새로운 비디오 확산 프레임워크입니다. 이 모델에는 효율적인 포인트 컬링과 자동 회귀 추론을 통해 반복적인 장면 확장을 가능하게 하는 월드 일관 비디오 확산과 장거리 월드 탐색이라는 두 가지 핵심 구성 요소가 포함되어 있습니다. RGB-D 비디오 훈련을 위한 확장 가능한 데이터를 생성하기 위해 확장 가능한 데이터 엔진이 제안됩니다.

훈위안 월드-보야저의 특징

• 네이티브 3D 재구성 기능공간과 기능의 조합을 통해 처음으로 네이티브 3D 메모리와 장면 재구성을 지원하여 기존 포스트 프로세싱과 관련된 지연 시간 및 정확도 손실을 방지합니다.
• 장거리 로밍 지원전 세계에서 일관된 장거리 로밍 장면을 생성하는 기능은 공간적 일관성 및 탐색 범위 측면에서 기존 비디오 생성의 한계를 극복합니다.
• 3D 입력 및 출력 지원3D 입력 및 3D 출력을 지원하여 1.0 모델의 로밍 범위를 더욱 확장하고 복잡한 장면의 생성 품질을 개선하며 양식화된 제어 및 편집을 지원할 수 있는 하이브리드 월드 모델 1.0에 매우 잘 적응합니다.
• 월드 캐시 메커니즘1.0 모델에서 생성된 초기 3D 포인트 클라우드 캐시를 기반으로 확장 가능한 월드 캐싱 메커니즘을 도입하여 대상 카메라 뷰에 투영하여 확산 모델에 가이드를 제공합니다. 또한 생성된 비디오 프레임은 실시간으로 캐시를 업데이트하여 기하학적 일관성을 유지하면서 임의의 카메라 궤적을 지원하는 폐쇄 루프 시스템을 형성합니다.
• 다중 애플리케이션 시나리오 지원비디오 장면 재구성, 3D 오브젝트 텍스처 생성, 비디오 스타일 사용자 지정 생성, 비디오 깊이 추정 등과 같은 다양한 3D 이해 및 생성 애플리케이션을 지원합니다.
• 효율적인 데이터 엔진RGB-D 비디오 트레이닝을 위한 확장 가능한 데이터를 생성하기 위한 확장 가능한 데이터 엔진이 제안되어 수동 3D 라벨링이 필요 없고 대규모의 다양한 트레이닝 데이터를 자동으로 생성할 수 있습니다.

후위안월드-보야저의 핵심 이점

• 네이티브 3D 세대최초로 후처리 없이 단일 이미지에서 직접 3D 일관된 포인트 클라우드 시퀀스를 생성할 수 있어 기존 방식에서 발생하는 지연과 정확도 손실을 방지할 수 있습니다.
• 장거리 로밍 기능사용자 지정 카메라 궤적을 따라 장거리의 전 세계 일관된 3D 장면을 돌아다니며 기존 비디오 생성의 공간적 한계를 극복할 수 있도록 지원합니다.
• 효율적인 3D 재구성생성된 RGB 및 심도 영상을 별도의 재구성 도구 없이 3D 재구성에 바로 사용할 수 있어 3D 재구성의 효율성과 정확성이 향상됩니다.
• 멀티모달 입력 지원텍스트, 이미지 등 다양한 입력 방식을 지원하며 다양한 입력에 따라 고품질의 3D 장면과 동영상을 생성할 수 있습니다.
• 실시간 상호 작용카메라 경로를 커스터마이징하여 생성된 3D 세계를 실시간으로 탐색할 수 있어 사용자 인터랙션 경험이 향상됩니다.
• 강력한 데이터 엔진수동 3D 라벨링 없이도 대규모의 다양한 RGB-D 비디오 훈련 데이터를 자동으로 생성하는 확장 가능한 데이터 엔진이 제안됩니다.

훈위안월드-보야저의 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://3d-models.hunyuan.tencent.com/world/
• 깃허브 리포지토리:: https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
• 포옹하는 얼굴 모델 라이브러리:: https://huggingface.co/tencent/HunyuanWorld-Voyager
• 기술 보고서:: https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/HYWorld_Voyager.pdf

훈위안월드-보야저가 적합한 사람들

• 3D 아티스트 및 디자이너모델을 사용하여 고품질 3D 장면과 에셋을 빠르게 생성하여 창작 효율성을 높이고 창의력을 자극할 수 있습니다.
• 게임 개발자게임 엔진과 호환되는 3D 씬 에셋을 생성하여 게임 개발을 위한 풍부한 크리에이티브 및 콘텐츠 지원을 제공합니다.
• 가상 현실(VR) 및 증강 현실(AR) 개발자사용자 상호 작용과 몰입감을 향상시키는 몰입형 3D 환경을 만드는 데 사용할 수 있습니다.
• 교육자 및 학생교육 및 훈련에서 학습 경험을 향상시키는 직관적인 3D 학습 리소스를 제공하는 데 사용할 수 있습니다.
• 산업 디자이너 및 엔지니어산업 설계 및 시뮬레이션에 사용하여 설계 솔루션을 최적화하고 설계 효율성을 개선할 수 있습니다.
• 동영상 제작자동영상 재구성 및 깊이 추정에 사용하여 동영상 콘텐츠의 3D 효과와 분석을 향상시킬 수 있습니다.