WebUI для преобразования голоса на основе извлечения: фреймворк для преобразования голоса на основе извлечения | симуляции реальных певческих голосов

Общее введение

Поиск VITS - это простой и удобный фреймворк для преобразования голоса, который может реализовать преобразование голоса между любыми динамиками, включая обложки песен и изменение голоса в реальном времени. Она отличается низкой задержкой, отличным эффектом преобразования голоса, небольшим объемом обучения данных и т.д. Она поддерживает ускорение N-карты, A-карты, I-карты, предоставляет веб-интерфейс и интерфейс преобразования голоса в реальном времени, а также может вызывать модель UVR5 для быстрого разделения человеческого голоса и бэк-вокала, и использовать самый передовой алгоритм извлечения высоты тона вокала RMVPE для устранения проблемы немых голосов.

Колаб онлайн опыт

Нижняя модель обучена с использованием почти 50 часов высококачественного обучающего набора VCTK с открытым исходным кодом, не требующего соблюдения авторских прав.

С нетерпением ждем нижнюю модель RVCv3, с большими параметрами, большими данными, лучшими результатами, практически равной скоростью вывода и меньшим количеством требуемых обучающих данных.

Интерфейс обучения рассуждениям

Интерфейс изменения голоса в реальном времени

Список функций

• Обучите собственную модель преобразования речи, используя всего 10 минут речевых данных.
• Поддержка различных частот дискретизации и тонов с помощью предварительно обученных моделей преобразования речи
• Преобразование речи с помощью веб-интерфейса или интерфейса изменения голоса в реальном времени с поддержкой сквозной низкой задержки
• Разделение вокала и бэк-треков с помощью моделирования UVR5, поддержка нескольких форматов аудиофайлов
• Использование алгоритма RMVPE для извлечения высоты вокала, поддержка pytorch/onnx/DirectML

Использование помощи

• Загрузите или клонируйте этот репозиторий, установите необходимые зависимости и предварительные модели
• Запустите файл go-web.bat или go-realtime-gui.bat и выберите действие, которое вы хотите выполнить.
• В соответствии с подсказками интерфейса выберите входные и выходные голосовые файлы или устройства, настройте параметры и опции
• Нажмите кнопку "Пуск" или "Стоп" и наслаждайтесь преобразованием голоса!