Parler-TTS: генерирование моделей преобразования текста в речь с учетом особенностей говорящего на основе входного текста

Общее введение

Parler-TTS - это библиотека моделей преобразования текста в речь (TTS) с открытым исходным кодом, разработанная Hugging Face для генерации высококачественной, естественно звучащей речи. Модель способна генерировать речь с определенным стилем диктора (например, полом, тоном, манерой речи и т. д.) на основе входного текста.Parler-TTS основана на результатах исследований в статье "Natural language guidance of high-fidelity text-to-speech with synthetic Parler-TTS основана на результатах исследования, проведенного в статье "Natural language guidance of high-fidelity text-to-speech with synthetic annotations", и имеет полностью открытый исходный код, все наборы данных, препроцессинг, обучающий код и веса находятся в открытом доступе, что позволяет сообществу развивать и улучшать их.

Список функций

• Генерация высококачественной речи: Генерируйте естественную и плавную речь с поддержкой нескольких стилей речи.
• открытый исходный кодВсе весовые коэффициенты кодов и моделей находятся в открытом доступе для развития и совершенствования сообщества.
• Легкие зависимости: Простой в установке и использовании, с небольшим количеством зависимостей.
• Несколько вариантов моделей: Доступны версии модели с различным количеством параметров, например, Parler-TTS Mini и Parler-TTS Large.
• Быстрая генерация: Оптимизированная скорость генерации с поддержкой SDPA и Flash Attention 2.
• Наборы данных и весовые коэффициенты: Предоставляет богатые наборы данных и предварительно обученные веса моделей для легкого обучения и тонкой настройки.

Использование помощи

Процесс установки

1. Убедитесь, что среда Python установлена.
2. Используйте следующую команду для установки библиотеки Parler-TTS:

   pip install git+https://github.com/huggingface/parler-tts.git

3. Для пользователей Apple Silicon выполните следующую команду для поддержки bfloat16:

   pip3 install --pre torch torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

Использование

Генерируйте случайную речь

1. Импортируйте необходимые библиотеки:

   import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

2. Загрузка моделей и разделителей:

   device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

3. Вводите текст и генерируйте речь:

   prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch."
inputs = tokenizer(prompt, return_tensors="pt").to(device)
outputs = model.generate(**inputs, description=description)
sf.write("output.wav", outputs.cpu().numpy(), 22050)

Создавайте речь в определенном стиле

1. Описания, в которых используется стиль конкретного оратора:

   description = "A male speaker with a deep voice and slow pace."
inputs = tokenizer(prompt, return_tensors="pt").to(device)
outputs = model.generate(**inputs, description=description)
sf.write("output_specific.wav", outputs.cpu().numpy(), 22050)

Модели обучения

1. Загрузите и подготовьте набор данных.
2. Обучение модели осуществляется с помощью предоставленного обучающего кода:

   python train.py --dataset_path /path/to/dataset --output_dir /path/to/output

Оптимизированное рассуждение

1. Оптимизировано с помощью SDPA и Flash Attention 2:

   model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1", use_flash_attention=True).to(device)