ZipVoice - семейство моделей Xiaomi с открытым исходным кодом для синтеза речи

Что такое ZipVoice

ZipVoice - это серия моделей синтеза речи (TTS) на основе архитектуры Flow Matching, выпущенная компанией Xiaomi, включая ZipVoice (модель синтеза речи с нулевой выборкой для одного диктора) и ZipVoice-Dialog (модель синтеза речи с нулевой выборкой для диалога). Серия моделей ZipVoice достигает легкого моделирования и ускорения вывода за счет внедрения архитектуры Zipformer, которая изначально была разработана для автоматического распознавания речи (ASR). Семейство моделей ZipVoice достигает легкого моделирования и ускорения вывода благодаря использованию в качестве опорной сети архитектуры Zipformer, изначально разработанной для автоматического распознавания речи (ASR). По сравнению с моделями синтеза речи на основе DiT, ZipVoice уменьшает количество параметров примерно на 63% при одинаковой производительности. Модели серии превосходят объективные метрики, такие как сходство с диктором, частота ошибок в словах и UTMOS, а также субъективные метрики, такие как CMOS, SMOS и т. д., и достигают уровня производительности SOTA моделей синтеза речи с нулевой выборкой.

Особенности ZipVoice

• Легкий и быстрыйZipVoice-Distill: ZipVoice-Distill работает быстро и подходит для развертывания в средах с ограниченными ресурсами, имея всего 123 М параметров модели. Дистиллированная версия, ZipVoice-Distill, работает быстрее, но с небольшим снижением производительности, но при этом сохраняет высокое качество вывода.
• Высококачественное клонирование речиОн превосходит по сходству с диктором, естественности и разборчивости речи, генерируя речь, очень похожую на оригинального диктора, и подходит для широкого спектра сценариев голосового взаимодействия.
• Поддержка нескольких языков: Он поддерживает китайский и английский языки, что позволяет удовлетворить потребности синтеза речи в различных языковых средах.
• Мультимодальная генерация речиZipVoice-Dialog генерирует монофонические разговоры двух человек, а ZipVoice-Dialog-Stereo генерирует стереофонические разговоры, назначая отдельный канал для каждого говорящего, что повышает естественность и погружение в разговор.
• Открытый исходный код и простота использования: Файлы модели, код обучения и код выводов были полностью открыты, чтобы облегчить разработчикам вторичное развитие и настройку. Для снижения порога использования предоставляются подробные инструкции по установке и использованию.

Основные преимущества ZipVoice

• Эффективное моделирование на основе Zipformer: Впервые архитектура Zipformer, изначально разработанная для автоматического распознавания речи (ASR), была применена для решения задачи TTS. Это позволило ZipVoice значительно сократить количество параметров модели и повысить эффективность обучения и вывода модели при сохранении высокого качества синтеза речи.
• стратегия усредненной выборки: Метод усредненной выборки при выравнивании речи и текста используется для упрощения процесса выравнивания, повышения стабильности и скорости сходимости выравнивания, а также эффективного улучшения разборчивости и ясности речи, так что синтезированная речь более точно отражает содержание входного текста.
• Метод поточной дистилляцииМетод дистилляции потока позволяет сократить количество шагов выборки и устранить накладные расходы, связанные с неклассифицированным руководством классификатора, что позволяет модели достичь скорости, близкой к реальному времени (RTF ≈ 1), в одном потоке процессора с использованием кода PyTorch, что значительно улучшает работу синтеза речи в реальном времени.
• маленький, но стремительныйZipVoice-Distill: ZipVoice-Distill, имеющий всего 123 М параметров модели, работает быстро и подходит для развертывания в средах с ограниченными ресурсами. Его дистиллированная версия, ZipVoice-Distill, работает еще быстрее, при этом производительность немного снижается, но сохраняется высокое качество результатов.
• Высококачественное клонирование речиОн превосходит по сходству с диктором, естественности и разборчивости речи и способен генерировать речь, очень похожую на оригинального диктора, что подходит для различных сценариев голосового взаимодействия.

Что такое официальный сайт ZipVoice

• Веб-сайт проекта:: https://zipvoice.github.io/
• Репозиторий GitHub:: https://github.com/k2-fsa/ZipVoice
• Библиотека моделей HuggingFace:: https://huggingface.co/k2-fsa/ZipVoice
• Технический документ arXiv:: https://arxiv.org/pdf/2506.13053

Для кого предназначен ZipVoice

• Разработчики речевых технологийОткрытые файлы модели, код обучения и код вывода ZipVoice предоставляют разработчикам богатые ресурсы для вторичного развития и настройки, подходящие для людей с определенной технической базой, которые хотят внедрять инновации и развиваться в области синтеза речи.
• исследователь искусственного интеллекта: Инновационные наработки модели в области синтеза речи, такие как внедрение архитектуры Zipformer и использование метода потоковой дистилляции, дают исследователям новые исследовательские идеи и экспериментальные платформы, которые способствуют развитию технологии синтеза речи.
• Разработчики интеллектуальных голосовых помощниковВысококачественный синтез речи и многоязыковая поддержка ZipVoice могут обеспечить более естественное и плавное голосовое взаимодействие для интеллектуальных голосовых помощников, что подходит для разработки приложений интеллектуальных голосовых помощников для пользователей с разными языками.
• Создатели аудиоконтентаZipVoice может быстро генерировать высококачественную речь для аудиокниг, радиодрам и другого аудиоконтента, помогая авторам повысить эффективность производства контента и снизить производственные затраты.
• Практики в области образованияВ сценариях изучения языков и онлайн-образования ZipVoice может генерировать стандартные голосовые демонстрации для помощи в обучении и помогать студентам лучше усвоить произношение и выражение языка, что подходит для сценариев, требующих поддержки многоязычного обучения.
• Разработчики корпоративных приложенийЛегкий дизайн и быстрые возможности ZipVoice позволяют эффективно внедрять его в корпоративные среды и улучшать пользовательский опыт для компаний, которым необходимо интегрировать синтез речи в корпоративные приложения, такие как системы обслуживания клиентов, "умные" туры и т.д.