IMS Toucan: быстрый и управляемый многоязычный (поддерживается 7000+ языков) инструмент преобразования текста в речь

Общее введение

IMS Toucan - это современный набор инструментов для преобразования текста в речь (TTS), разработанный Институтом обработки естественного языка (IMS) при Штутгартском университете, Германия. Поддерживая более 7000 языков, инструментарий отличается быстродействием, управляемостью и низкими требованиями к вычислительным ресурсам. IMS Toucan разработан для обеспечения эффективных решений по синтезу речи для научных исследований, обучения и реальных приложений. Инструментарий позволяет пользователям тренироваться, использовать и обучать современным методам синтеза речи. IMS Toucan предоставляет богатый набор функциональных модулей и гибкий интерфейс управления, что позволяет пользователям генерировать высококачественную речь по требованию.

Демо: https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS

Список функций

• Поддержка нескольких языков: Поддерживает синтез текста в речь на более чем 7000 языках.
• Быстрый синтез: Эффективная скорость генерации речи для приложений реального времени.
• управляемый: Пользователь может точно контролировать высоту тона, ритм и тембр голоса.
• низкая вычислительная мощность: Не требует значительных вычислительных ресурсов для работы и подходит для широкого спектра аппаратных сред.
• Интерактивная презентация: Для того чтобы пользователи могли непосредственно ознакомиться с функцией синтеза речи, предусмотрена демонстрационная онлайн-версия.
• открытый исходный код: Полная база кода с открытым исходным кодом для легкой вторичной разработки и настройки.
• Модель предварительного обучения: Предоставляет предварительно обученные модели синтеза речи, которые пользователи могут использовать напрямую или настраивать дополнительно.

Использование помощи

Процесс установки

1. основное требование: Рекомендуется использовать Python версии 3.10. Обязательно установите следующие зависимости: libsndfile1, espeak-ng, ffmpeg, libasound-dev, libportaudio2, libsqlite3-dev.
2. склад клонов: Клонируйте репозиторий IMS Toucan на локальную машину (для обучения модели рекомендуется использовать GPU с поддержкой CUDA; для выводов GPU не требуется).

   git clone https://github.com/DigitalPhonetics/IMS-Toucan.git
cd IMS-Toucan

3. Создание виртуальной среды: Создайте и активируйте виртуальную среду для установки основных зависимостей.

   python -m venv <path_to_env>
source <path_to_env>/bin/activate
pip install --no-cache-dir -r requirements.txt

4. Запустите демонстрационный скрипт: После завершения установки вы можете запустить следующий сценарий для демонстрации.

   python run_advanced_GUI_demo.py

Функции Поток операций

1. преобразование текста в речь: Введите текст в интерактивный интерфейс, выберите язык и параметры голоса и нажмите кнопку Generate, чтобы сгенерировать голос.
2. голосовое управление: Перетаскивая ползунки высоты тона и длительности, пользователи могут точно настроить высоту тона и ритм генерируемой речи.
3. замена речи: Пользователь может перейти на другую речевую модель, сохранив при этом прежние параметры речи.
4. обучение модели: Пользователи могут обучать новые речевые модели, используя свои собственные наборы данных, пожалуйста, обратитесь к обучающим скриптам в репозитории и документации для получения инструкций.

Основные функции

• Поддержка нескольких языковIMS Toucan поддерживает более 7000 языков, позволяя пользователям выбирать различные языки для синтеза речи по мере необходимости.
• Эффективный синтезIMS Toucan может быстро генерировать высококачественную речь даже в условиях ограниченных вычислительных ресурсов.
• Гибкий контроль: Пользователь может точно управлять параметрами голоса через интерактивный интерфейс, чтобы генерировать голосовой вывод, соответствующий требованиям.