Hy-Nomas - 腾讯混元团队开源的交互式视频世界模型

Lovart

Hy-Nomas是什么

Hy-Nomas 是腾讯混元团队开源的交互式视频世界模型,采用分段自回归架构,配合全生命周期的 KV cache,让场景、物体和风格在长视频生成中保持稳定一致。Hy-Nomas生成过程中可灵活切换文本提示或相机轨迹控制,能多轮注入新指令。Hy-Nomas 通过蒸馏和 INT8 量化优化,单张 RTX 4090 就能本地推理,去噪仅需 4~8 步。Hy-Nomas 支持 LoRA 微调,适合游戏原型、影视预演和科研等场景。

Hy-Nomas - 腾讯混元团队开源的交互式视频世界模型

Hy-Nomas的功能特色

  • 双模态控制:文本提示与相机轨迹可在每段生成间自由切换,交互方式灵活。
  • 长程一致性:lifelong KV cache 贯穿所有生成段,避免长视频出现场景漂移。
  • 多轮交互生成:在段边界随时注入新指令,实现连续多轮的世界构建。
  • 提示词增强(Nomas-PE):自动将口语化描述转化为结构化生成提示,降低使用门槛。
  • 消费级部署:INT8 量化结合 CPU offload,单张 RTX 4090 即可完成本地推理。
  • 极速推理:蒸馏技术将去噪压缩至 4~8 步,显著降低生成延迟。
  • LoRA fine-tuning:支持用自定义视频数据训练专属风格,并可合并回蒸馏模型使用。
  • Completely open source:代码、权重、训练与标注流程全部公开,Apache 2.0 协议可商用。

Hy-Nomas的核心优势

  • 控制自由:文本与相机控制双模态随心切换,想怎么指挥生成世界就怎么指挥。
  • 画面不"跑题":跨段长程一致性机制,让场景、物体、风格全程保持连贯。
  • 家用显卡就能跑:量化与显存优化到位,RTX 4090 级别的消费级显卡即可本地部署。
  • Fast generation:蒸馏后仅需几步去噪,等待时间大幅缩短。
  • 可商用、可改造:全链路开源且协议宽松,能用 LoRA 训练自己的专属版本。

Hy-Nomas官网是什么

  • Project website:https://hy-nomas.hy.tencent.com/
  • GitHub repository:https://github.com/Tencent-Hunyuan/Hy-Nomas
  • HuggingFace Model Library:https://huggingface.co/tencent/Hy-Nomas

Hy-Nomas的使用步骤

  • Preparing the environment:安装 Linux + NVIDIA 显卡驱动(Docker 部署或手动配置 Python 环境均可)。
  • Get Code:从 GitHub 克隆 Hy-Nomas 仓库到本地。
  • download weighting:从 HuggingFace 拉取所需模型(可选蒸馏版或 INT8 量化版,后者适合单卡 4090)。
  • Starting services:运行 Web 交互界面或推理脚本,加载模型。
  • start generating:输入文字描述创建初始场景,或在段边界注入新指令继续扩展。
  • 切换控制:按需改用相机轨迹控制视角,与文本指令组合使用。
  • LoRA fine-tuning:用自定义视频数据训练专属风格,再合并回蒸馏模型即可。

Hy-Nomas的适用人群

  • AI researchers:Hy-Nomas 开源完整的训练流程与数据标注管线,是学习研究世界模型方向的教学与科研基座。
  • application developer:模型支持本地部署与 LoRA 二次开发,开发者可以基于它搭建定制化的交互式视频生成应用。
  • content creator:创作者只需输入文字描述和相机指令,就能快速生成连贯的虚拟世界,低成本验证创意。
  • 影视与游戏从业者:导演和游戏设计师可用它生成分镜预演和玩法原型,辅助运镜设计与视觉预览。
  • 机器人与具身智能团队:借助官方 Robotics LoRA 可生成仿真操作环境,为机械臂等提供合成训练数据。

Hy-Nomas的常见问题

Q1:Hy-Nomas 是免费的吗?

A1:是的,代码和权重基于 Apache 2.0 协议完全开源,可自由使用甚至商用。


Q2:需要什么硬件才能本地运行?

A2:经过 INT8 量化和 CPU offload 优化后,单张 RTX 4090(24GB 显存)即可完成推理。


Q3:生成的视频支持哪些控制方式?

A3:支持文本提示和相机轨迹双模态控制,且可在每段生成之间自由切换组合。


Q4:如何保证长视频的连贯性?

A4:模型内置 lifelong KV cache,让场景、物体和风格跨段延续,避免长程漂移。


Q5:支持自定义训练吗?

A5:支持。可用官方标注管线准备数据,用 LoRA 微调后再合并回蒸馏 checkpoint,兼顾定制能力与加速推理。

© Copyright notes

Related posts

No comments

You must be logged in to leave a comment!
Login immediately
none
No comments...