LongCat-Video-Avatar 1.5 - 美团开源的音频驱动数字人视频生成模型

2.3K 00

LongCat-Video-Avatar 1.5是什么

LongCat-Video-Avatar 1.5 是美团 LongCat 团队开源的音频驱动数字人视频生成模型，基于 13.6B 参数的 LongCat-Video 基础模型构建，采用 MIT 协议完全开源。将音频编码器从 Wav2Vec2 升级为 Whisper-Large-v3，通过 DMD 蒸馏技术将推理步数从 50 步压缩至 8 步，效率提升约 15 倍，生成 10 秒视频仅需约 1 分钟。模型支持 Audio-Text-to-Video、Audio-Text-Image-to-Video 及视频续写三大核心任务，在唇形同步精度、长视频身份一致性、多人交互场景等方面达到生产级可用水平，在多项评测中超越 HeyGen、Kling Avatar 2.0 等头部商业闭源产品。

LongCat-Video-Avatar 1.5的功能特色

Audio-Text-to-Video (AT2V)：输入音频和文本提示词，生成对应人物说话视频。
Audio-Text-Image-to-Video (ATI2V)：输入音频、文本提示词和参考人像图片，生成指定身份的数字人视频。
Video Continuation（视频续写）：在已有视频片段基础上进行长视频续写，保持身份和画面一致性。
单流/多流音频输入：支持单人独白及多人对话场景，可区分不同说话者。
风格化泛化：除真人外，支持动漫角色、动物角色等非人类主体的音频驱动生成。
多分辨率输出：支持 480P 和 720P 分辨率输出，帧率 30fps。
INT8 量化推理：提供 INT8 量化版本，降低显存占用，支持消费级 GPU 部署。

LongCat-Video-Avatar 1.5的核心优势

音频编码器升级：从 Wav2Vec2 替换为 Whisper-Large-v3，更细致捕捉音素和韵律，唇形同步精度大幅提升，支持 99 种语言。
8 步高效推理：采用 DMD2 步数蒸馏技术，将扩散采样从 50 步压缩至 8 步，推理效率提升约 15 倍。
长视频身份一致性：通过跨块潜变量拼接（CLS）和参考跳跃注意力（RSA），实现分钟级视频的身份零漂移。
全身时序稳定性：解耦式无条件引导（DUG）策略，使静音时段也能生成自然的眨眼、呼吸等微动作，告别"静音即僵尸"。
GRPO 逐帧对齐：引入强化学习将人类偏好奖励细化到逐帧层面，优化手部变形、动作不连贯等细节。
生产级物理合理性：在 EvalTalker 基准测试中，物理合理性、时间稳定性、音视频协调性等多维度表现均衡领先。
低成本部署：采用"共享基础模型 + 多 LoRA 适配器"架构，替代传统三模型并行，显存开销大幅降低，RTX 4090（24GB）即可运行。

LongCat-Video-Avatar 1.5官网是什么

项目官网：https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/
GitHub仓库：https://github.com/meituan-longcat/LongCat-Video
HuggingFace模型库：https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5

LongCat-Video-Avatar 1.5的操作步骤

环境准备：克隆 GitHub 仓库 https://github.com/meituan-longcat/LongCat-Video，创建 Python 3.10 虚拟环境并安装依赖。
下载权重：通过 huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 下载模型权重至本地。
单人 Audio-Text-to-Video：运行 run_demo_avatar_single_audio_to_video.py，指定 --stage_1=at2v，配置 --model_type avatar-v1.5 --use_distill --use_int8。
单人 Audio-Image-to-Video：运行同上脚本，将 --stage_1 改为 ai2v，提供参考图像路径。
多人场景：运行 run_demo_avatar_multi_audio_to_video.py，准备包含多段音频的 JSON 配置文件。
视频续写：在基础命令上追加 --num_segments=5 --ref_img_index=10 --mask_frame_range=3 参数实现长视频生成。
参数调优：通过调整 audio_cfg（建议 3-5）控制唇形同步强度，在提示词中加入动作描述引导肢体语言。