Wan-Dancer - 阿里通义实验室开源的音乐舞蹈视频生成大模型

Wan-Dancer是什么

Wan-Dancer 是阿里巴巴通义实验室万相（Wan）团队推出的音乐驱动舞蹈视频生成大模型，开源版本 Wan-Dancer-14B 拥有140亿参数，采用 Apache 2.0 协议免费商用。用户只需上传一张人物照片、一段音乐并输入舞蹈风格提示词，即可生成最长约3分钟、720p/30fps 的高连贯舞蹈视频，突破了此前开源模型难以逾越的20秒时长瓶颈。模型基于两阶段 DiT 分层架构，由全局模块规划整体编舞、局部模块细化节拍对齐，配合 Time-Mapped RoPE 与光流损失技术，实现动作与音乐节奏的精准同步。目前支持中国古典舞、K-Pop、街舞、踢踏舞、拉丁舞五种舞种，并提供关键帧编辑与 LoRA 微调能力。

Wan-Dancer的功能特色

超长舞蹈视频生成：单次可生成最长约3分钟的连贯舞蹈视频，远超此前开源模型普遍20秒以内的时长上限，支持完整歌曲级别的编舞呈现。
音乐驱动动作合成：输入一段音频即可自动生成与之匹配的舞蹈动作，动作节奏、力度变化与音乐节拍、情绪起伏精准对应。
单图人物驱动：仅需一张人物参考照片即可让图中角色"动起来"跳舞，保留人物的面部特征、服装与体型一致性。
文本提示词控制舞风：通过自然语言描述指定舞蹈风格、动作幅度与表演氛围，实现可控的编舞生成。
多舞种支持：内置中国古典舞、K-Pop、街舞、踢踏舞、拉丁舞五大舞蹈风格，覆盖东西方主流舞种。
分层编舞架构：Global DiT 基于整段音乐上下文规划全局编舞结构与关键帧，Local DiT 负责帧级动作细化与节拍同步，输出与曲长一致的完整编舞而非片段拼接。
动态帧率节拍对齐：采用 Time-Mapped RoPE 技术实现动态帧率适配，保证长视频中动作与音乐节拍持续精准对齐。
运动平滑优化：引入光流损失与运动速度控制机制，有效减少帧间跳变与高速动作模糊，画面流畅稳定。
关键帧编辑干预：支持用户手动编辑关键帧以调整编舞走向，并可进行换装等外观控制，提升创作自由度。
LoRA 编舞模仿：支持基于约16段参考视频进行 LoRA 微调，让模型学习并复现特定舞者的编舞风格。
高清输出规格：支持 720p 分辨率、30fps 帧率输出，满足短视频与内容创作平台的发布需求。
全链路开源生态：模型权重以 Apache 2.0 协议开源，上架 Hugging Face 与 ModelScope，GitHub 提供推理脚本，ComfyUI 内置官方工作流（含 FP8 量化模型），并支持 DiffSynth-Studio 加速框架。

Wan-Dancer的核心优势

时长断层领先：将开源舞蹈视频生成的时长上限从约20秒直接拉升至3分钟级，实现"整首歌"级别的完整编舞，是目前唯一能生成分钟级连贯舞蹈视频的开源方案。
编舞具备全局结构：区别于同类模型简单拼接动作片段的做法，Wan-Dancer 通过 Global/Local 两阶段分层架构，先理解整段音乐的起承转合再规划编舞，生成的舞蹈有完整叙事结构、无重复单调感。
音画同步精度高：Time-Mapped RoPE 动态帧率技术确保分钟级长视频中动作始终踩在节拍上，不会出现越跳越"脱拍"的问题。
画面流畅不崩坏：光流损失与运动速度控制显著抑制帧间抖动和高速动作模糊，大幅降低了 AI 舞蹈视频常见的肢体扭曲、动作鬼畜等问题。
人物一致性出色：单张照片即可驱动，长时生成中人物面部、服装、体型保持稳定，减少身份漂移。
创作可控性强：支持提示词定义舞风、关键帧手动编辑干预编舞、换装控制，以及 LoRA 微调模仿特定编舞，从"随机生成"升级为"可导演的创作工具"。
开源免费可商用：140亿参数模型权重以 Apache 2.0 宽松协议开放，企业与个人均可免费商用，无任何授权成本。

Wan-Dancer官网是什么

项目官网：https://humanaigc.github.io/wan-dancer-project/
GitHub仓库：https://github.com/Wan-Video/Wan-Dancer
HuggingFace模型库：https://huggingface.co/Wan-AI/Wan-Dancer-14B
arXiv技术论文：https://arxiv.org/pdf/2607.09581

Wan-Dancer的操作步骤

方式一：在线体验（零门槛，推荐新手）
- 第一步：打开魔搭社区（ModelScope）的 Wan-Dancer 体验页面，或登录 Wan Video 平台，找到 "Music to Dance"（音乐生成舞蹈）功能入口。
- 第二步：上传一张人物参考照片，建议选择面部清晰、全身或半身、背景简洁的图片，以获得更好的人物一致性效果。
- 第三步：上传一段音乐文件（支持完整歌曲），作为舞蹈动作的驱动音频。
- 第四步：在提示词输入框中用自然语言描述期望的舞蹈风格，例如"中国古典舞，动作舒展优雅"或"K-Pop 风格，节奏感强"。
- 第五步：点击生成按钮，等待模型完成推理（分钟级视频耗时较长，需耐心等待）。
- 第六步：预览生成的舞蹈视频，满意后下载保存，或直接用于短视频平台发布。
方式二：ComfyUI 可视化工作流（适合创作者）
- 第一步：将 ComfyUI 更新至最新版本，Wan-Dancer 官方工作流已内置其中。
- 第二步：下载 Wan-Dancer-14B 模型权重（可选择 FP8 量化版本以降低显存占用），放入指定模型目录。
- 第三步：加载官方工作流模板，在对应节点上传人物参考图、音乐文件，并填写舞蹈风格提示词。
- 第四步：根据需要调整参数，如视频时长、分辨率、动作幅度等；如需干预编舞，可编辑关键帧节点。
- 第五步：运行工作流，生成并导出最终舞蹈视频。
方式三：本地代码部署（适合开发者）
- 第一步：确认硬件环境，建议配备 24GB 以上显存的显卡（如 RTX 4090），长时高清生成推荐 40GB 以上专业卡。
- 第二步：克隆 GitHub 官方仓库（Wan-Video/Wan-Dancer），按文档安装依赖环境。
- 第三步：从 Hugging Face 或 ModelScope 下载 Wan-Dancer-14B 模型权重至本地。
- 第四步：准备输入素材（人物图片 + 音频 + 提示词），运行官方推理脚本，或选用 DiffSynth-Studio 框架加速推理。
- 第五步（可选）：如需模仿特定编舞风格，准备约16段参考视频进行 LoRA 微调，再加载微调权重生成视频。