혼합 세계 모델 1.1 - 텐센트 혼합 세계, 오픈 소스 3D 재구성 대형 모델 출시

하이브리드 월드 모델 1.1이란 무엇인가요?

월드미러 1.1(월드미러)은 텐센트 월드미러 팀이 출시한 오픈소스 3D 재구성 모델로, 월드미러 시리즈의 업그레이드 버전입니다. 멀티뷰 이미지, 동영상, 카메라 위치, 내부 참조, 깊이 맵 등의 멀티모달 선험적 입력을 지원하며, 단일 이미지에만 의존하는 기존 3D 재구성의 한계를 극복하고 동적 선험적 주입 메커니즘을 통해 다양한 입력 조합에 유연하게 적응할 수 있는 것이 특징입니다. 포인트 클라우드, 멀티뷰 심도 맵, 카메라 파라미터, 표면 법선 및 3D 가우시안 포인트 등 여러 3D 기하학적 예측을 동시에 생성할 수 있는 엔드투엔드 멀티태스크 통합 출력을 최초로 달성했으며, 엔드투엔드 협업 훈련을 통해 재구성 품질과 기하학적 일관성을 향상시켰습니다.

하이브리드 월드 모델 1.1의 기능적 특징

• 멀티모달 입력 지원멀티뷰 이미지, 동영상 등 다양한 입력 방식을 지원하며 다양한 유형의 입력 데이터를 유연하게 처리할 수 있습니다.
• 멀티태스킹 통합 출력포인트 클라우드, 심도 맵, 카메라 파라미터, 표면 법선, 3D 가우시안 포인트 등 다양한 3D 기하학적 예측을 동시에 출력하여 다양한 요구 사항을 충족할 수 있습니다.
• 초 단위 추론으로 단일 카드 배포순수 피드 포워드 아키텍처를 사용하여 단일 그래픽 카드에 배포할 수 있으며 8-32개의 뷰 입력을 처리하는 데 로컬에서 1초밖에 걸리지 않아 2단계 추론이 가능합니다.
• 유연한 선험적 적응성동적 선험적 주입 메커니즘을 통해 모델은 선험적 조합에 유연하게 적응할 수 있으며, 선험적 입력 없이도 3D 재구성을 수행할 수 있습니다.
• 강력한 일반화 기능코스 학습 전략의 도움으로 단일 이미지 분포를 넘어 일반화할 수 있는 모델의 능력이 극대화되어 다양한 입력 데이터를 더 잘 처리할 수 있습니다.
• 고정밀 3D 재구성3D 포인트 클라우드 재구성 및 엔드투엔드 3DGS 재구성에서 뛰어난 성능을 발휘하며, 기하학적 정확도와 디테일 재현이 뛰어나 고품질 3D 콘텐츠 제작을 지원합니다.

하이브리드 월드 모델의 핵심 이점 1.1

• 멀티모달 입력의 유연한 처리카메라 포즈, 내부 참조, 깊이 맵 등과 같은 멀티 모달 선험적 정보 주입을 지원하고 계층적 코딩 전략을 통해 전역 및 로컬 기하학적 제약 조건을 융합하여 임의의 선험적 조합에 적응함으로써 재구성 품질과 견고성을 개선합니다.
• 일반 3D 시각적 예측포인트 클라우드, 뎁스 맵, 카메라 파라미터, 표면 노멀, 3D 가우시안 포인트 등의 통합 멀티태스크 출력, 엔드투엔드 협업 훈련을 통해 기하학적 정확도와 디테일 재현을 최적화하고 고품질 메시 재구성 및 실시간 새로운 시점 렌더링을 최초로 지원했습니다.
• 초 단위 추론을 통한 효율적인 단일 카드 배포단 한 번의 순방향 전파로 3D 속성을 출력하고 8-32개의 뷰 입력을 단 1초 만에 처리할 수 있는 순수 피드 포워드 아키텍처를 채택하여 기존의 반복적 최적화 방식보다 훨씬 뛰어나 하드웨어의 문턱을 낮추고 누구나 사용할 수 있는 3D 재구성 기술을 실현했습니다.
• 씬 간 일반화 기능코스 학습 전략(작업 순서, 데이터 스케줄링, 해상도 진행)을 통해 훈련을 최적화하여 실제 사진 및 AI 생성 비디오와 같은 다양한 입력에 대한 적응력을 향상시켜 잘 구조화되고 디테일이 풍부한 장면을 생성합니다.
• 오픈 소스 및 사용 편의성완전 오픈 소스, 로컬 배포 문서 및 Hugging Face 온라인 데모 제공, 3D 재구성 결과의 멀티뷰 이미지 또는 비디오 실시간 미리보기 업로드 지원, 기술 애플리케이션의 문턱을 낮춥니다.

하이브리드 월드 모델 1.1의 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://3d-models.hunyuan.tencent.com/world/
• 깃허브 리포지토리:: https://github.com/Tencent-Hunyuan/HunyuanWorld-Mirror
• 포옹하는 얼굴 모델 라이브러리:: https://huggingface.co/tencent/HunyuanWorld-Mirror
• 허깅페이스 온라인 데모:: https://huggingface.co/spaces/tencent/HunyuanWorld-Mirror
• 기술 보고서:: https://3d-models.hunyuan.tencent.com/world/worldMirror1_0/HYWorld_Mirror_Tech_Report.pdf

하이브리드 세계 모델 1.1을 위한 사람들

• 3D 콘텐츠 제작자게임 개발, VR 체험, 영화 및 TV 제작 등을 위한 고품질 3D 씬을 빠르게 생성하여 크리에이터가 가상 세계를 효율적으로 구축할 수 있도록 지원합니다.
• 교육자 및 학생가상 실험실 및 역사적 장면 재현과 같은 교육 시나리오의 학습 경험과 효과를 높이기 위해 몰입형 3D 교육 환경을 만드는 데 사용할 수 있습니다.
• 산업 디자이너 및 엔지니어제품 설계, 가상 조립 및 물리적 시뮬레이션을 지원하여 산업 설계 프로세스를 가속화하고 설계 효율성과 품질을 개선합니다.
• 문화유산 보존가고대 건물과 문화 유적을 고정밀 3D로 복원하여 문화유산의 디지털 보존과 연구를 지원합니다.
• 부동산 개발자 및 건축가건축 설계 프레젠테이션, 가상 쇼룸 등을 위한 3D 모델과 건물 가상 투어를 생성하여 사용자 경험을 향상시킵니다.
• 광고 및 마케팅 직원제품 데모, 가상 쇼룸 등 매력적인 3D 광고 콘텐츠를 제작하여 광고의 인터랙티브함과 호소력을 높일 수 있습니다.