ZipVoice - 小米开源的语音合成系列模型

ZipVoice是什么

ZipVoice是小米发布的基于 Flow Matching 架构的系列语音合成（TTS）模型，包括 ZipVoice（零样本单说话人语音合成模型）和 ZipVoice-Dialog（零样本对话语音合成模型）。ZipVoice 系列模型通过引入原本为自动语音识别（ASR）设计的 Zipformer 架构作为骨干网络，实现了轻量化建模和推理加速。相比基于 DiT 的语音合成模型，ZipVoice 在性能相似的情况下，参数量减少了约 63%。系列模型在说话人相似度、词错误率和 UTMOS 等客观指标，以及 CMOS、SMOS 等主观指标上都表现出色，达到了零样本语音合成模型的 SOTA 性能水平。

ZipVoice的功能特色

• 轻量化与快速性：ZipVoice 模型参数量仅 123M，推理速度快，适合在资源受限的环境中部署。蒸馏版本 ZipVoice-Distill 速度更快，性能略有下降，但依然保持高质量输出。
• Clonagem de fala de alta qualidade：在说话人相似度、语音自然度和可理解性方面表现出色，能生成与原始说话人高度相似的语音，适用于多种语音交互场景。
• Suporte a vários idiomas：支持中文和英文两种语言，能满足不同语言环境下的语音合成需求。
• 多模式语音生成：支持单人语音生成和对话语音生成。ZipVoice-Dialog 能生成单声道的两人对话，ZipVoice-Dialog-Stereo 则为每个说话人分配独立声道，生成立体声对话，提升对话的自然度和沉浸感。
• Código aberto e facilidade de uso：模型文件、训练代码和推理代码已全部开源，方便开发者进行二次开发和定制。提供了详细的安装和使用指南，降低了使用门槛。

ZipVoice的核心优势

• 基于 Zipformer 的高效建模：首次将原本为自动语音识别（ASR）设计的 Zipformer 架构引入到 TTS 任务中，这一创新使 ZipVoice 在保持高质量语音合成的同时，大幅减少了模型参数量，提高了模型的训练和推理效率。
• 平均上采样策略：采用平均上采样的语音文本对齐方法，简化了对齐过程，提高了对齐的稳定性和收敛速度，有效提升了语音的可懂度和清晰度，使合成语音更加准确地反映输入文本的内容。
• 流蒸馏方法：通过流蒸馏技术，进一步减少了采样步骤，消除了无分类器指导相关的推理开销，使模型在 CPU 单线程使用 PyTorch 代码推理时即可达到接近实时的速度（RTF≈1），大大提高了语音合成的实时性。
• 小而快：ZipVoice 模型参数量仅 123M，推理速度快，适合在资源受限的环境中部署。其蒸馏版本 ZipVoice-Distill 速度更快，性能略有下降，但依然保持高质量输出。
• Clonagem de fala de alta qualidade：在说话人相似度、语音自然度和可理解性方面表现出色，能够生成与原始说话人高度相似的语音，适用于多种语音交互场景。

ZipVoice官网是什么

• Site do projeto：https://zipvoice.github.io/
• Repositório do GitHub：https://github.com/k2-fsa/ZipVoice
• Biblioteca do modelo HuggingFace：https://huggingface.co/k2-fsa/ZipVoice
• Artigo técnico do arXiv：https://arxiv.org/pdf/2506.13053

ZipVoice的适用人群

• 语音技术开发者：ZipVoice 开源的模型文件、训练代码和推理代码，为开发者提供了丰富的资源，方便他们进行二次开发和定制，适合有一定技术基础，希望在语音合成领域进行创新和开发的人员。
• pesquisador de inteligência artificial：模型在语音合成领域的创新实践，如引入 Zipformer 架构、采用流蒸馏方法等，为研究者提供了新的研究思路和实验平台，有助于推动语音合成技术的发展。
• 智能语音助手开发者：ZipVoice 的高质量语音合成能力和多语言支持，能为智能语音助手提供更加自然、流畅的语音交互体验，适用于开发面向不同语言用户的智能语音助手应用。
• 有声内容创作者：制作有声读物、广播剧还是其他音频内容，ZipVoice 可以快速生成高质量的语音，帮助创作者提高内容制作效率，降低制作成本。
• 教育领域从业者：在语言学习、在线教育等场景中，ZipVoice 可以生成标准的语音示范，辅助教学，帮助学生更好地学习语言发音和表达，适用于需要多语言教学支持的场景。
• Desenvolvedores de aplicativos corporativos：对于需要在企业级应用中集成语音合成功能的企业，如客服系统、智能导览等，ZipVoice 的轻量化设计和快速推理能力，能高效地部署在企业环境中，提升用户体验。