VoxCPM 1.5 - Faceted Intelligence с открытым исходным кодом для конечного моделирования преобразования текста в речь

Что такое VoxCPM 1.5

VoxCPM 1.5 - это модель генерации речи с открытым исходным кодом, выпущенная Facade Intelligence, основанная на технологии преобразования текста в речь (TTS) без необходимости использования разделителя, с несколькими инновациями и улучшениями. Используя сквозную диффузионную авторегрессионную архитектуру, она генерирует непрерывные речевые волны непосредственно из текста, избегая ограничений традиционных методов сегментации. Модель значительно улучшила качество звука, увеличив частоту дискретизации с 16 кГц до 44,1 кГц, что сохраняет больше высокочастотных деталей и делает клонирование речи более реалистичным. Кроме того, оптимизирована эффективность генерации, частота дискретизации уменьшена до 6,25 Гц, снижены вычислительные затраты, поддерживается синтез речи в реальном времени, что подходит для приложений, работающих в режиме реального времени.

Особенности VoxCPM 1.5

• Генерация аудио с высокой частотой дискретизацииЧастота дискретизации была увеличена с 16 кГц до 44,1 кГц, что позволило добиться более детального, чистого и естественного звучания, а также лучшей передачи тембра и эмоций, особенно при клонировании голоса.
• Эффективная генерация мощностеймоделирование языка жетон Частота снижается с 12,5 Гц до 6,25 Гц, что значительно сокращает вычислительные затраты при сохранении производительности генерации для приложений синтеза речи в реальном времени.
• клонирование речи с нулевой выборкойТон, интонация, эмоции и другие характеристики диктора могут быть точно воспроизведены по короткому эталонному аудио (≥3 секунд) без дополнительного обучения или регистрации идентификатора диктора.
• Генерация речи с учетом контекста: Модель понимает содержание текста и адаптивно подстраивает рифму и стиль речи, создавая более выразительный и естественный поток речи.
• Поддержка индивидуальной тонкой настройкиПредусмотрена поддержка тонкой настройки SFT и LoRA, что позволяет пользователям обучать персонализированные речевые модели на основе собственных данных для удовлетворения конкретных потребностей.
• Поддержка нескольких языковНесмотря на то, что эта программа в первую очередь предназначена для обучения на английском и китайском языках, ее архитектура также обеспечивает основу для многоязычных расширений, и ожидается, что в будущем она будет поддерживать больше языков.
• Открытый исходный код и поддержка сообществаЭта модель находится в открытом доступе на таких платформах, как Hugging Face, где разработчики могут свободно использовать, изменять и расширять ее, а сообщество предоставляет множество ресурсов и документации для ее поддержки.

Основные преимущества VoxCPM 1.5

• Создание аудио высокого качестваЧастота дискретизации 44,1 кГц обеспечивает большую четкость и детализацию речи, особенно в плане тембра и эмоций, что приближает ее к реальному человеческому голосу.
• Эффективная работа с выводамиЧастота генерации лексем увеличивается до 6,25 Гц, стоимость вычислений снижается, скорость вывода информации увеличивается, а коэффициент реального времени (RTF) составляет всего 0,17, что подходит для сценариев синтеза речи в реальном времени.
• клонирование речи с нулевой выборкойРезультат: точное клонирование речи с использованием всего 3 секунд эталонного аудио, без дополнительного обучения и быстрая генерация речи, которая в значительной степени соответствует эталонному аудио.
• возможность использования контекстно-зависимых функцийМодель может автоматически регулировать рифму и стиль речи в зависимости от содержания текста, создавая более выразительную и естественную речь и адаптируясь к различным текстовым сценариям.
• ПерсонализацияПоддерживаются функции SFT (полная тонкая настройка) и LoRA (адаптация с низким рангом), что позволяет пользователям обучать персонализированные речевые модели на основе собственных данных для удовлетворения конкретных потребностей.
• Поддержка нескольких языковАнглийский и китайский языки в качестве ядра, и в то же время есть определенная степень многоязычного расширения возможностей, для будущего, чтобы поддерживать больше языков, чтобы заложить основу.
• Низкая зависимость от ресурсов: Для генерации речи непосредственно из текста не требуется сложных этапов предварительной или последующей обработки, что снижает порог использования и упрощает процесс разработки.

Какой официальный сайт у VoxCPM 1.5?

• Библиотека моделей HuggingFace:: https://huggingface.co/openbmb/VoxCPM1.5

Для кого предназначен VoxCPM 1.5?

• Разработчик синтеза речи: Разработчикам, которым необходимы эффективные и высококачественные возможности генерации речи для создания таких приложений, как голосовые помощники, интеллектуальное обслуживание клиентов и голосовое вещание.
• создатель контентаVoxCPM 1.5 может использоваться производителями аудиоподкастов и аудиокниг для быстрого создания высококачественного голосового контента и повышения эффективности их работы.
• исследователь языков: Исследователям и ученым, интересующимся технологией синтеза речи и желающим изучить такие области, как генерация речи и клонирование речи.
• Корпоративная и брендовая сторонаПредприятия, которые хотят улучшить имидж своего бренда с помощью персонализированного голоса и добавить функции голосового взаимодействия в свои продукты или услуги, такие как интеллектуальное оборудование и автомобильные системы.
• педагог: Используется для создания образовательного аудиоконтента, например, онлайн-курсов, пособий по изучению языков и т.д., чтобы обеспечить более яркие впечатления от обучения.