SoulX-Podcast - модель синтеза разговорной речи от Soul AI Lab с открытым исходным кодом

Что такое SoulX-Podcast

SoulX-Podcast - это продвинутая модель синтеза разговорной речи с открытым исходным кодом от Soul AI Lab, предназначенная для создания высококачественного контента подкастов. Она способна генерировать несколько раундов диалога, имитируя плавные беседы в реальных сценариях подкастинга, и поддерживает мандаринский, английский и несколько китайских диалектов, таких как сычуаньский, хэнаньский и кантонский. Она поддерживает междиалектное клонирование речи с нулевым образцом и может генерировать различные диалектные голоса на основе одного аудиосигнала. Модель включает в себя функцию паралингвистического контроля, которая может генерировать невербальные элементы, такие как смех и вздохи, для повышения естественности речи. При генерации длинных форматов диалогов SoulX-Podcast поддерживает стабильный тембр и естественные ритмические изменения для создания связных диалогов длиной до 90 минут.

Особенности SoulX-Podcast

• Создание диалогов с участием нескольких дикторов: Воспроизведение разговоров нескольких дикторов продолжительностью до 90 минут с устойчивыми тонами и естественными ритмическими колебаниями, подходящими для сценариев многораундовых диалогов, таких как подкасты.
• Поддержка нескольких языков и диалектов: Поддерживает мандаринский, английский и несколько китайских диалектов (например, сычуаньский, хэнаньский, кантонский и т. д.), а также имеет возможность клонирования голоса между диалектами.
• паралингвистический контроль: Паралингвистические элементы, такие как смех, вздохи и звуки дыхания, могут генерироваться для повышения естественности и реалистичности синтезированной речи.
• Согласованность долгосрочного диалога: Обеспечение связности и эмоциональной непрерывности в длинных диалогах с помощью механизмов контекстуальной регуляризации.
• Нулевой образец синтеза текста в речь: Возможность генерировать высококачественную персонализированную речь без образца голоса целевого диктора.
• Высокопроизводительный синтез речиОн также отлично справляется с традиционными задачами синтеза речи для одного человека, достигая лучших в отрасли уровней.
• Открытый исходный код и простота использования: Разработчикам предоставляется открытый исходный код и подробное руководство по установке для использования и расширения.

Основные преимущества SoulX-подкаста

• Создание диалогов с участием нескольких дикторов: Может генерировать естественные и плавные многораундовые диалоги, подходящие для сценариев с несколькими дикторами, таких как подкасты.
• Поддержка нескольких языков и диалектовОн поддерживает мандаринский, английский и многие китайские диалекты, а также имеет возможность клонирования речи между диалектами.
• паралингвистический контроль: Поддерживает генерацию паралингвистических элементов, таких как смех и вздохи, для повышения естественности речи.
• Согласованность долгосрочного диалога: Может произнести до 90 минут связного диалога, сохраняя постоянную смену тона и ритма.
• Нулевой образец синтеза текста в речь: Персонализированная речь может быть сгенерирована без необходимости получения образца голоса целевого диктора.
• Высокая производительность и качество: Отличная производительность в традиционных задачах синтеза речи для одного человека, достигающая лучших в отрасли уровней.

Что является официальным сайтом SoulX-Podcast?

• Веб-сайт проекта:: https://soul-ailab.github.io/soulx-podcast/
• Репозиторий GitHub:: https://github.com/Soul-AILab/SoulX-Podcast
• Библиотека моделей HuggingFace:: https://huggingface.co/collections/Soul-AILab/soulx-podcast
• Технический документ arXiv:: https://arxiv.org/pdf/2510.23541

Для кого предназначен SoulX-Podcast?

• Создатель подкаста: Генерирует высококачественный диалоговый контент с несколькими дикторами, подходящий для создания подкастов.
• создатель контента: Может использоваться для создания аудиоконтента, такого как аудиоистории, виртуальные интервью и т.д.
• Виртуальный помощник разработчикаПоддержка нескольких языков и диалектов обеспечивает естественное и плавное голосовое взаимодействие для виртуальных помощников.
• исследователь языков: Поддерживает множество языков и диалектов и может быть использован для лингвистических исследований и проектов по сохранению диалектов.
• педагог: Может использоваться для создания образовательного аудиоконтента, поддерживающего многоязычное преподавание и изучение языков.
• Практики индустрии развлечений: Он может быть использован для генерации голоса виртуального персонажа и подходит для игр, анимации и других областей.