Spark 2.0 - 李飞飞 World Labs 开源的动态3D高斯泼溅渲染引擎

1.4K 00

Spark 2.0是什么

Spark 2.0 是AI教母李飞飞创立的World Labs公司开源的动态3D高斯泼溅（3DGS）渲染引擎。引擎专为网页端构建，基于Three.js与WebGL2技术，突破了超大规模3D场景在移动端及VR设备上的流畅渲染极限，支持在任意设备上流式传输并渲染超过1亿个高斯泼溅点。

超大规模场景渲染：通过连续细节层级（LoD）泼溅树系统，智能筛选当前视角下的最佳泼溅子集，将渲染预算稳定在50万（移动端）至250万（桌面端）splat范围内，确保帧率稳定。
渐进式流式加载：采用全新的.RAD（Radiance field）流式文件格式，支持从粗到细的渐进式加载，场景可先以低精度快速显示，再按需加载细节，无需等待GB级文件完全下载。
虚拟显存管理：在GPU中开辟固定显存池（如1600万splat容量），以6.4万splat为一页进行LRU动态分页管理，实现有限内存访问无限场景。
多对象统一渲染：支持在同一场景中渲染多个3DGS对象，通过全局排序算法实现正确的深度排序与空间融合
cross-platform compatibility：基于WebGL2（非WebGPU）构建，覆盖98%以上设备，可在桌面、iOS、Android及Quest、Vision Pro等VR设备上运行。

连续LoD系统：相比离散LoD，采用连续式细节层级避免画面跳变和区块边界痕迹，根据相机视角动态切割LoD树，实现无缝细节过渡。
高精度坐标编码：引入ExtSplats 32字节格式（float32中心坐标），消除大场景下的量化伪影，提升视觉保真度。
可编程GPU管线：支持Shader Graph与GLSL编程，开发者可对每个splat进行颜色、透明度或动画处理，实现4DGS动态效果。
LoD树生成算法：提供Tiny-LoD（快速紧凑，默认用于Web）和Bhatt-LoD（高质量，默认用于命令行）两种算法，均无需训练数据即可从3DGS数据直接生成。

环境准备与安装：通过 npm 安装核心库（npm install @sparkjs/core），确保项目基于 Three.js 与 WebGL2 环境搭建，无需额外配置原生图形 API。
3DGS 数据转换：将现有的 .ply、.spz 或 .splat 格式的高斯泼溅数据转换为 Spark 2.0 专属的 .RAD 流式文件格式，以支持渐进式加载和连续 LoD（细节层级）渲染。
LoD 树生成：使用 Tiny-LoD 算法（快速紧凑，适合 Web 端实时生成）或 Bhatt-LoD 算法（高质量，适合命令行预处理）从 3DGS 数据生成连续细节层级泼溅树，无需训练数据即可完成。
场景配置与渲染：在代码中创建 Spark 渲染器实例，配置渲染预算（移动端 50 万 splat / 桌面端 250 万 splat），设置虚拟显存池大小（如 1600 万 splat 容量），并加载 .RAD 文件实现流式渲染。
多对象与交互集成：如需在同一场景渲染多个 3DGS 对象，启用全局排序算法确保深度正确；通过 Shader Graph 或 GLSL 编程自定义 splat 颜色、透明度或动画，实现 4DGS 动态效果。
Cross-platform publishing：基于 WebGL2（非 WebGPU）构建最终应用，确保覆盖桌面、iOS、Android 及 Quest、Vision Pro 等 VR 设备，用户可直接通过浏览器访问无需下载安装。

Web前端与Three.js开发者：基于Three.js与WebGL2构建，支持npm直接安装和GLSL编程，无需原生图形API即可在网页中集成超大规模3D场景。
3D Gaussian Splatting研究者与从业者：原生支持.ply、.spz、.splat及.RAD流式格式，通过连续LoD泼溅树系统实现亿级splat的浏览器端流畅渲染。
网页游戏开发者：支持多对象统一渲染、全局深度排序和4DGS动态效果，可构建基于浏览器的多人在线游戏，实现1亿+splat场景的即点即玩体验。
VR/AR内容创作者：兼容Quest、Vision Pro等VR设备，支持6DoF交互，打破传统VR内容分发限制，用户可直接通过浏览器访问沉浸式3D体验。
数字孪生与可视化工程师：适用于智慧城市、工业数字孪生等超大规模真实场景展示，通过虚拟显存管理和渐进式流式加载实现有限内存访问无限场景。
AI 3D生成领域开发者：与World Labs Marble平台深度集成，支持将AI生成的3D高斯泼溅内容直接部署到Web端，打通生成到展示的全链路。