HY-World 2.0 - 腾讯混元开源的多模态世界模型

堆友AI

HY-World 2.0是什么

HY-World 2.0(混元3D世界模型2.0)是腾讯混元开源的多模态世界模型,能理解文字、图片、视频等不同类型输入,自动生成、重建和模拟包含人、物、景的完整3D世界。与仅生成视频的1.5版本及谷歌Genie 3不同,2.0版本直接生成可二次编辑的3D资产(Mesh/3DGS/点云等),可无缝对接Unity、UE等主流游戏引擎,实现真正"可玩、可用"的3D空间。
HY-World 2.0 - 腾讯混元开源的多模态世界模型

HY-World 2.0的功能特色

  • 多模态输入与世界生成:支持文本、单图、视频等多种输入方式,一键生成风格多样的可漫游世界(真实风、漫画风、游戏风),输入一句话即可生成完整3D场景。
  • 角色冒险模式:支持一键开启"大冒险"模式,用户可操作角色在生成的街道、建筑中自由探索,具备真实物理碰撞检测,打破生成式内容的"第四面墙"。
  • 真实场景重建(世界复刻):基于升级的WorldMirror 2.0架构,支持任意尺寸图像与视频输入,一次性预测密集点云、多视角深度图、表面法线及相机参数,可构建高精度的数字孪生空间,应用于室内装修预览、城市规划、文化遗产保护等场景。
  • マルチフォーマットのエクスポート:支持3DGS、Mesh、点云、视频等多种格式导出,生成的3D资产永久存在,可复用、可编辑。

HY-World 2.0的核心优势

  • 范式跃迁:从单一3D资产生成升级为"世界模型",支持文字、图片、视频多模态输入,直接生成可交互、可漫游的完整3D世界。
  • 智能漫游系统:搭载WorldNav轨迹规划,结合VLM与NavMesh自动规划符合人类探索逻辑的路径,具备真实物理碰撞检测,避免穿墙卡位。
  • 无限场景扩展:通过HY-WorldStereo空间一致性记忆机制,实现新旧区域无缝衔接,支持持续扩展生成无限大的开放世界。
  • 真实场景复刻:基于WorldMirror 2.0架构,支持任意尺寸图像/视频输入,一键重建高精度数字孪生空间,适用于室内设计与城市规划。
  • 工业级兼容性:支持3DGS、Mesh、点云、视频等多格式导出,可直接导入Unity、UE、Blender等主流引擎与软件,永久可编辑复用。
  • 风格精准控制:提供真实、漫画、游戏、写实等多种预设风格,输入遵循度优于同类模型(如WorldLabs Marble),物体侧面与背面细节完整。
  • 完全开源生态:核心代码与模型权重已开源(Apache 2.0),提供ComfyUI插件与完整技术文档,降低开发者接入门槛。

HY-World 2.0官网是什么

  • プロジェクトのウェブサイト:: https://3d-models.hunyuan.tencent.com/world/
  • GitHubリポジトリ:https://github.com/Tencent-Hunyuan/HY-World-2.0
  • HuggingFaceモデルライブラリ:https://huggingface.co/tencent/HY-World-2.0
  • 技術論文:https://3d-models.hunyuan.tencent.com/world/world2_0/HY_World_2_0.pdf

使用HY-World 2.0的操作步骤

  • アクセス・プラットフォーム:通过在线体验地址 https://3d.hunyuan.tencent.com/sceneTo3D 直接使用网页版,或从 GitHub 克隆开源代码进行本地部署。
  • 入力:选择输入模态,支持文本描述、上传单张图片,或导入任意长度的视频素材。
  • スタイルを選ぶ:在预设选项中指定生成风格,可选真实风、漫画风、游戏风或写实风等美学类型。
  • 生成全景世界:系统自动生成360°全景场景,采用 HY-Pano 2.0 技术端到端构建基础3D环境。
  • 启动漫游模式:点击"大冒险"按钮开启角色漫游,WorldNav 模块将自动规划探索轨迹,用户可通过键盘或界面控制角色在场景中自由移动。
  • 扩展场景边界:如需扩大世界范围,使用 HY-WorldStereo 功能持续生成新区域,系统自动确保新旧区域无缝衔接。
  • 导出3D资产:生成完成后,选择导出格式(支持3DGS、Mesh、点云或视频),下载的3D文件可直接导入 Unity、UE、Blender 等引擎进行深度编辑。

HY-World 2.0的适用人群

  • 游戏开发者与关卡设计师:需要快速生成游戏地图、地牢、城市场景原型,或直接将生成的3D资产导入Unity、UE等引擎进行游戏开发的专业人员。
  • 3D内容创作者与数字艺术家:涉及影视虚拟拍摄、3D动画、概念设计等领域的创作者,用多风格生成功能快速产出漫画风、写实风等可编辑的3D场景资产。
  • 室内设计师与建筑师:需要基于现场照片重建高精度数字孪生空间,为客户提供可漫游的装修预览方案,或进行空间规划验证的设计从业者。
  • 城市规划师与文化遗产保护人员:从事城市数字孪生建设、历史建筑数字化存档、文化遗址虚拟复原等工作的专业人员。
  • 具身智能与机器人研究人员:需要高保真3D仿真环境用于机器人训练、导航算法测试的AI研究员与开发者。
  • 技术开发者与程序员:希望通过开源代码(GitHub Apache 2.0协议)二次开发、定制世界生成功能,或集成ComfyUI插件到现有工作流的技术人员。

HY-World 2.0的常见问题

Q:可以生成哪些风格的3D世界?

A:系统预设多种风格模板,包括真实风、漫画风、游戏风、写实风等,用户可根据需求一键切换场景美学风格。


Q:生成的3D世界可以做什么?

A:支持"大冒险"漫游模式,用户可操作角色在场景中自由探索,具备真实物理碰撞检测;同时支持场景无限扩展,生成无限大的开放世界。


Q:支持导出哪些格式?导出的文件可以用什么软件打开?

A:支持导出为3DGS、Mesh(网格)、点云、视频等格式。Mesh和点云可直接导入Unity、虚幻引擎(UE)、Blender、3ds Max等主流3D软件进行二次编辑。


Q:HY-World 2.0 与 1.5 版本有什么区别?

A:1.5版本主要生成视频形式的世界;2.0版本升级为直接生成可编辑的3D资产(Mesh/3DGS),支持物理碰撞与二次创作,实现从"看视频"到"玩世界"的范式跃迁。


Q:生成的3D内容是否可以商用?

A:可以。HY-World 2.0 采用Apache 2.0开源协议,开发者可自由调用、修改和商用生成的3D资产,但需遵守协议中的归属声明要求。


Q:对硬件配置有什么要求?

A:在线体验版无需本地硬件;本地部署版本需要NVIDIA GPU(推荐显存12GB以上),具体配置要求可参考GitHub仓库的README文档。


Q:是否支持真实场景的复刻重建?

A:支持。通过WorldMirror 2.0架构,上传室内或户外照片/视频,系统可一键重建高精度的数字孪生空间,适用于室内装修预览、城市规划等场景。


Q:如何保证生成场景的连贯性?

A:系统采用HY-WorldStereo空间一致性记忆机制,在扩展场景边界时,自动确保新旧区域在几何与视觉上无缝衔接,避免断层或重复。


Q:是否提供ComfyUI插件支持?

A:是的,官方提供ComfyUI插件,方便用户将HY-World 2.0集成到现有的AI工作流中。


Q:与WorldLabs的Marble模型相比有什么优势?
A:HY-World 2.0在输入遵循度和场景完整度上表现更优,生成的物体侧面、背面细节更完整,且直接输出可编辑的3D资产而非仅视频。
© 著作権表示

関連記事

コメントなし

コメントに参加するにはログインが必要です!
今すぐログイン
なし
コメントはありません