JoyAI-Video-Edit - 京东开源的实时流式视频编辑模型

JoyAI-Video-Edit是什么

JoyAI-Video-Edit 是京东开源的实时流式视频编辑模型，基于16B参数自回归扩散框架构建，在单张英伟达B200 GPU上即可实现720p分辨率约30FPS的实时处理，真正做到"边播边改"。模型突破传统流式编辑仅能处理短时片段的限制，支持任意时长视频的稳定输出，用户只需输入自然语言指令，可完成人物替换、局部增删改、背景更换、风格迁移、字幕编辑及参考图引导编辑等操作。

JoyAI-Video-Edit的功能特色

• 实时流式编辑，边播边改：对直播相机流或上传视频逐帧因果处理，帧到达即编辑，无需等待完整视频、无需预设时长、无需回看未来帧，突破以往流式模型仅支持数秒到分钟级片段的限制，可稳定处理任意时长的视频。
• 自然语言指令控制：用户通过文本指令即可驱动编辑，支持主体替换、局部增删改、背景更换、全局风格迁移、动作调整、字幕编辑等多种任务，覆盖开放式编辑需求。
• 参考图引导编辑（RV2V）：支持以参考图像作为条件进行视频编辑，实现更精确的视觉控制，且官方计划在新版本中重点强化这一能力。
• 高保真、低漂移的编辑质量：通过源锚定分布匹配蒸馏（SA-DMD）和长时序自回归蒸馏技术，在编辑的同时保持源视频内容保真度，抑制长视频的时序漂移问题。
• 720p 实时性能：端到端管线在 720×1280 分辨率下达到 30.19 FPS，单张英伟达 B200 GPU 即可跑通约 30 FPS 的实时编辑，配合有界 KV 状态推理维持稳定的算力开销。
• 评测全面领先：在 OpenVE-Bench 通用评测中超越 SANA-Streaming、LiveEdit 等所有现有流式编辑方法，在全局风格、局部替换、局部删除、字幕编辑等任务上优势突出，与强离线编辑系统相比也具备竞争力。
• 完全开源，生态完整：GitHub 部署代码、HuggingFace 模型权重、arXiv 技术报告全部公开，并上线在线体验 Demo；后续计划支持消费级 GPU（如 RTX 5090）部署，并开源完整训练框架与数据生成管线。

JoyAI-Video-Edit的核心优势

• 首创任意时长的实时流式编辑能力：区别于以往流式编辑模型仅能处理数秒到分钟级片段的局限，JoyAI-Video-Edit 通过有界 KV 状态推理维持稳定算力开销，实现不限时长视频的持续稳定编辑，真正支持直播级"边播边改"场景。
• 编辑质量与时序稳定性兼得：采用源锚定分布匹配蒸馏（SA-DMD）技术，在指令编辑的同时最大程度保留源视频内容保真度；配合长时序自回归蒸馏，有效抑制长视频编辑中常见的时序漂移和画面抖动问题。
• 消费级可部署的实时性能：16B 参数模型通过分块自回归适配与蒸馏优化，在单张 B200 GPU 上实现 720p、30.19 FPS 的端到端实时编辑，官方还计划进一步优化至 RTX 5090 等消费级显卡，大幅拉低使用门槛。
• 指令驱动的全场景编辑覆盖：一个模型同时支持主体替换、局部增删改、背景更换、风格迁移、动作调整、字幕编辑及参考图引导编辑，无需针对不同任务切换专用工具，交互方式仅需自然语言。
• 评测数据全面领先：在 OpenVE-Bench 等通用评测中超越 SANA-Streaming、LiveEdit 等所有现有流式编辑方法，在全局风格、局部替换、局部删除、字幕编辑等细分任务上优势显著，甚至可与强离线编辑系统竞争。

JoyAI-Video-Edit官网是什么

• Репозиторий GitHub：https://github.com/jd-opensource/JoyAI-Video-Edit
• Библиотека моделей HuggingFace：https://huggingface.co/jdopensource/JoyAI-Video-Edit
• Технический документ arXiv：https://arxiv.org/pdf/2608.03974

JoyAI-Video-Edit的操作步骤

• Опыт работы в Интернете：打开京东官方上线的实时编辑在线 Demo，GitHub 仓库置顶有入口。上传视频素材（或直接使用相机流），无需下载任何模型。在输入框中用自然语言写下编辑指令，例如"把人物替换成钢铁侠""给女孩加一条红色披风""将画面转为卡通风格"。实时预览编辑效果，不满意可随时修改指令重新生成。
• 本地部署（适合开发者和企业用户）
  • Подготовка среды：需一台配备英伟达 GPU 的机器（官方实时性能基于 B200，单卡可达 720p、30.19 FPS），用 Conda 创建 Python 3.10 虚拟环境：conda create -n joyai-video-edit python=3.10，激活后执行 pip install -r requirements.txt Установите зависимость.
  • Скачать модельные веса：从 HuggingFace 下载官方发布的 JoyAI-Video-Edit 权重，放置到 deploy/deps/checkpoints/JoyAI-Video-Edit/ 目录下（含 dit/ ответить пением vae/ 两个子目录）；同时需准备 MiMo-VL 和 ONNX 检测器等外部运行时依赖，详见仓库的 DEPLOYMENT.md.
  • Начальные услуги: Доступ deploy 目录执行 bash run_server.sh 启动服务端。
  • Откройте интерфейс。浏览器访问 http://localhost:8080（远程服务器可将服务绑定到 0.0.0.0 或使用 SSH 端口转发），进入 Web 操作界面。
  • 上传素材并输入指令：上传待编辑视频或接入实时相机流，用自然语言描述编辑需求，支持主体替换、局部增删、背景更换、风格迁移、字幕编辑、参考图引导编辑等任务。
  • 实时预览与导出：视频帧到达即被逐帧编辑并实时回显，支持任意时长连续编辑，确认效果后导出结果。

JoyAI-Video-Edit的适用人群

• 电商运营与品牌营销人员：服装、美妆、家居等品类的商家可快速将商品展示视频换装、换背景、换场景，批量产出不同风格的营销素材，大幅降低拍摄与后期成本。
• 短视频创作者与自媒体人：无需专业剪辑技能，用自然语言一句话即可完成换风格、换人物、加特效等操作，实时预览效果，适合追求快速产出和创意玩法的个人创作者。
• 影视与广告制作团队：在前期创意阶段可实时尝试人物造型、场景氛围与视觉效果，快速验证多种方案，减少重复拍摄和整段返工，适合导演、美术、特效预演等岗位。
• 主播与直播行业从业者：模型支持对直播相机流逐帧实时编辑，720p 下可达约 30 FPS，适合需要在直播过程中实时换背景、换形象、加特效的带货主播、虚拟主播及 MCN 机构。
• 家装与室内设计从业者：可将家装实拍视频实时切换家具款式与装修风格，让客户直观对比不同设计方案，提升沟通与签单效率。
• 具身智能与机器人研发团队：可将人手操作视频转化为机械臂操作素材，保留物体位置、空间关系与动作轨迹，低成本扩展机器人训练数据，适合数据合成与仿真方向的工程师。

JoyAI-Video-Edit的常见问题