IMS Toucan: ferramenta de conversão de texto em fala multilíngue rápida e controlável (com suporte para mais de 7.000 idiomas)

Introdução geral

O IMS Toucan é um kit de ferramentas de conversão de texto em fala (TTS) de última geração desenvolvido pelo Institute for Natural Language Processing (IMS) da Universidade de Stuttgart, na Alemanha. Com suporte para mais de 7.000 idiomas, o kit de ferramentas é rápido, controlável e exige poucos recursos computacionais. O IMS Toucan foi projetado para fornecer soluções eficientes de síntese de fala para pesquisa, ensino e aplicações no mundo real. O kit de ferramentas permite que os usuários treinem, usem e ensinem técnicas de síntese de fala de última geração, e o IMS Toucan oferece um rico conjunto de módulos funcionais e uma interface de controle flexível que permite que os usuários gerem uma saída de fala de alta qualidade sob demanda.

Demonstração: https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS

Lista de funções

• Suporte a vários idiomasSuporte à síntese de texto para fala em mais de 7.000 idiomas.
• Síntese rápidaVelocidade eficiente de geração de fala para aplicativos em tempo real.
• controlávelO usuário tem controle preciso sobre o tom, o ritmo e o timbre da voz.
• baixo poder de computaçãoNão requer recursos de computação significativos para ser executado e é adequado para uma ampla variedade de ambientes de hardware.
• Demonstração interativaDemonstração on-line: uma demonstração on-line é fornecida para que os usuários possam experimentar diretamente a função de síntese de fala.
• código abertoUma base completa de código-fonte aberto para facilitar o desenvolvimento secundário e a personalização.
• Modelo de pré-treinamentoFornece modelos de síntese de fala pré-treinados que os usuários podem usar diretamente ou ajustar ainda mais.

Usando a Ajuda

Processo de instalação

1. requisito fundamentalRecomendamos a versão 3.10 do Python. Certifique-se de instalar as seguintes dependências: libsndfile1, espeak-ng, ffmpeg, libasound-dev, libportaudio2, libsqlite3-dev.
2. armazém de clonesClone o repositório do IMS Toucan em um computador local (recomenda-se GPUs habilitadas para CUDA para treinamento de modelos; não são necessárias GPUs para inferência).

   git clone https://github.com/DigitalPhonetics/IMS-Toucan.git
cd IMS-Toucan

3. Criação de um ambiente virtualCrie e ative um ambiente virtual para instalar dependências básicas.

   python -m venv 
source /bin/activate
pip install --no-cache-dir -r requirements.txt

4. Executar o script de demonstraçãoQuando a instalação estiver concluída, você poderá executar o script a seguir para fins de demonstração.

   python run_advanced_GUI_demo.py

Função Fluxo de operação

1. conversão de texto em falaDigite o texto na interface interativa, selecione o idioma e os parâmetros de voz e clique no botão Generate (Gerar) para gerar a voz.
2. controle de vozArrastando os controles deslizantes de tom e duração, os usuários podem ajustar com precisão o tom e o ritmo da fala gerada.
3. substituição da falaO usuário pode mudar para um modelo de fala diferente, mantendo os mesmos parâmetros de fala.
4. treinamento de modelosOs usuários podem treinar novos modelos de fala usando seus próprios conjuntos de dados. Consulte os scripts de treinamento no repositório e a documentação para obter instruções.

Funções em destaque

• Suporte a vários idiomasIMS Toucan: O IMS Toucan suporta mais de 7.000 idiomas, permitindo que os usuários selecionem diferentes idiomas para a síntese de fala, conforme necessário.
• Síntese eficienteO IMS Toucan pode gerar fala de alta qualidade rapidamente, mesmo em ambientes com poucos recursos de computação.
• Controle flexívelO usuário pode controlar com precisão os parâmetros da voz por meio da interface interativa para gerar a saída de voz que atenda aos requisitos.