혼합 월드 모델 1.5 - 텐센트 혼합 오픈 소스 실시간 월드 모델 생성 프레임워크

하이브리드 월드 모델 1.5란 무엇인가요?

하이브리드 월드플레이 1.5(텐센트 HY 월드플레이)는 텐센트에서 출시한 업계 최초의 오픈소스 실시간 월드 모델링 프레임워크로, 데이터, 훈련, 스트리밍 추론 배포의 전체 체인을 포괄합니다. 핵심은 다음 프레임 예측 작업을 사용하여 훈련된 WorldPlay 자동 회귀 확산 모델로, 실시간 및 기하학적 일관성 문제를 해결합니다. 실시간 인터랙션 생성은 오리지널 컨텍스트 강제 증류 방식과 스트리밍 추론 최적화를 통해 초당 24프레임의 720P HD 비디오를 생성할 수 있으며, 장거리 3D 일관성은 재구성된 메모리 메커니즘을 통해 분 단위 콘텐츠의 기하학적 일관성 생성을 지원하고, 다양한 스타일의 시나리오와 1인칭 및 3인칭 시점에 적용하여 다양한 인터랙션 경험을 구현할 수 있습니다.

하이브리드 월드 모델 1.5의 기능적 특징

• 실시간 인터랙션 생성 기능이 모델은 독창적인 '컨텍스트 정렬 증류' 방식과 스트리밍 추론 최적화를 통해 초당 24프레임의 720p HD 비디오 스트림을 실시간으로 생성하여 원활한 상호작용을 보장하고 사용자가 실시간으로 시점과 환경을 조작할 수 있습니다.
• 장거리 3D 일관성이 모델은 재구성 메모리 메커니즘(RMM) 덕분에 높은 수준의 기하학적 일관성을 갖춘 분 단위까지 비디오 콘텐츠 생성을 지원할 수 있어 고품질 3D 공간 시뮬레이터 구축의 토대를 마련합니다.
• 다양한 인터랙티브 경험사용자는 텍스트 설명이나 사진을 입력하는 것만으로 특별한 3D 인터랙티브 월드를 빠르게 생성할 수 있습니다. 사용자는 키보드, 마우스 또는 조이스틱을 사용하여 게임 캐릭터를 조종하듯 시점의 이동과 조향을 자유롭게 제어하고 AI가 생성한 환경을 몰입감 있게 탐험할 수 있습니다.
• 오픈 소스 풀 링크 프레임워크데이터, 훈련 및 추론 배포의 전체 체인과 링크를 포괄하는 최초의 오픈 소스 실시간 세계 모델 훈련 시스템으로, 개발자에게 완전한 개발 및 배포 프로세스를 제공합니다.
• 고품질 데이터 수집혼합 메타 팀이 구축한 자동화된 3D 씬 렌더링 프로세스를 통해 대량의 고품질 실제 렌더링 데이터에 액세스할 수 있어 핵심 알고리즘의 잠재력을 더욱 높일 수 있습니다.

하이브리드 월드 모델 1.5의 핵심 이점

• 실시간 및 유창성초당 24프레임으로 720p HD 비디오 스트림을 실시간으로 생성하는 기능으로 부드럽고 즉각적인 사용자 상호작용을 보장합니다.
• 장기적인 일관성분 단위까지 3D 콘텐츠 생성을 지원하며 복잡한 장면의 장시간 생성을 위해 높은 수준의 기하학적 일관성을 유지합니다.
• 다양한 상호작용다양한 입력 방식(텍스트, 이미지)과 상호 작용 모드(1인칭, 3인칭)를 지원하여 몰입감 있는 3D 탐험 경험을 제공합니다.
• 오픈 소스 및 전체 링크 지원개발자에게 강력한 기술 지원을 제공하기 위해 데이터, 교육, 추론 등을 포괄하는 완전한 교육 및 배포 시스템을 최초로 오픈소스화했습니다.
• 고품질 데이터 기반3D 씬 렌더링 프로세스를 자동화하여 모델 생성 및 일반화 품질을 더욱 향상시켜 고품질 데이터를 확보합니다.
• 혁신적인 교육 프레임워크컨텍스트에 맞춘 증류 기법과 3D 보상 강화 학습 프레임워크를 사용하여 생성된 콘텐츠의 시각적 품질과 기하학적 일관성을 향상시킵니다.

하이브리드 월드 모델 1.5의 공식 웹사이트는 어디인가요?

• 프로젝트 웹사이트:: https://3d-models.hunyuan.tencent.com/world/
• GitHub 리포지토리:: https://github.com/Tencent-Hunyuan/HY-WorldPlay
• 허깅페이스 모델 라이브러리:: https://huggingface.co/tencent/HY-WorldPlay
• 기술 문서:: https://3d-models.hunyuan.tencent.com/world/world1_5/HYWorld_1.5_Tech_Report.pdf

하이브리드 세계 모델 1.5를 위한 사람들

• 게임 개발자게임 장면과 콘텐츠를 빠르게 생성하고 개발 비용을 절감하며 개발 효율성을 높이는 데 사용할 수 있으며, 특히 실시간 상호작용과 장시간 생성이 필요한 3D 게임 개발에 적합합니다.
• VFX 팀고품질 3D 장면과 애니메이션을 실시간으로 생성할 수 있어 영화 및 TV 특수 효과 제작에 보다 효율적인 콘텐츠 생성 도구를 제공하고 제작 과정을 가속화할 수 있습니다.
• 가상 현실(VR) 및 증강 현실(AR) 개발자VR/AR 애플리케이션 개발을 위한 몰입형 3D 인터랙티브 경험을 지원하여 사용자에게 더욱 사실적이고 유동적인 가상 환경을 제공합니다.
• 인공 지능 연구원링크 전반에 걸친 오픈 소스 프레임워크와 고품질 데이터 세트는 연구자들에게 관련 분야의 연구와 혁신을 촉진하는 풍부한 연구 리소스를 제공합니다.
• 콘텐츠 크리에이터동영상 블로거, 애니메이터 등이 간단한 텍스트나 이미지 입력을 통해 창의적인 콘텐츠를 빠르게 생성할 수 있어 콘텐츠 제작의 다양성과 효율성을 높일 수 있습니다.
• 교육자 및 학생학습의 재미와 상호 작용을 향상시키고 학생들이 연습하고 탐구할 수 있는 플랫폼을 제공하는 몰입형 교수 학습 시나리오를 만드는 데 사용할 수 있습니다.