SoniTranslate: solução de dublagem de tradução de vídeo de código aberto, dublagem múltipla, ajuste de velocidade e imitação do som original

Introdução geral

O SoniTranslate é uma ferramenta de dublagem multilíngue de vídeo avançada e fácil de usar, projetada para fornecer uma solução de tradução de vídeo e áudio sincronizado. Ele usa tecnologias avançadas de reconhecimento de fala e tradução automática para traduzir o conteúdo de vídeo em vários idiomas e manter o áudio sincronizado. Criado com base na biblioteca Gradio, o projeto oferece uma interface da Web fácil de usar com suporte para vários idiomas e vários formatos de saída para criadores de conteúdo e usuários que precisam de tradução de vídeo multilíngue.

Caderno de anotações da Colab: https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

Demonstração on-line: https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

Lista de funções

• tradução de vídeoTradução de conteúdo de vídeo em vários idiomas.
• áudio sincronizadoMantenha o áudio traduzido sincronizado com o vídeo.
• Suporte a vários idiomasSuporte à tradução para mais de 80 idiomas.
• Geração de subtítulosGeração automática de arquivos de legendas traduzidas.
• substituição da falaTTS: substitui a fala original no vídeo por um modelo TTS.
• Interface amigávelInterface da Web fácil de usar, criada com base na biblioteca Gradio.
• Vários formatos de saídaHá suporte para a saída dos formatos MP3, MP4, MKV, WAV e OGG.

Usando a Ajuda

Processo de instalação

1. Preparação do ambienteVerifique se os drivers NVIDIA e o CUDA 11.8.0 estão instalados.
2. Instalar o FFmpegPara processar arquivos de vídeo e áudio.
3. Instalar o SoniTranslate::
   • Clonar um repositório do GitHub:git clone https://github.com/R3gm/SoniTranslate.git
   • Vá para o catálogo de projetos:cd SoniTranslate
   • Crie e ative um ambiente Conda:conda create -n sonitr python=3.8(matemática) gêneroconda activate sonitr
   • Instale a dependência:pip install -r requirements.txt
4. Executar o aplicativo::
   • Inicie o aplicativo:python app_rvc.py
   • Abra o navegador para acessar o URL local: http://127.0.0.1:7860

Processo de uso

1. Carregar vídeoCarregue o arquivo de vídeo a ser traduzido na interface da Web.
2. Selecionar idiomaSeleção do idioma de destino para a tradução.
3. Opções de configuraçãoConfigure opções como geração de legendas, substituição de fala, etc., conforme necessário.
4. Iniciar traduçãoClique no botão "Start Translation" (Iniciar tradução) e aguarde a conclusão da tradução.
5. Resultados do downloadDownload do arquivo de vídeo, áudio ou legenda traduzido resultante quando a tradução estiver concluída.

Etapas detalhadas

1. Carregar vídeoClique no botão "Upload Video" para selecionar um arquivo de vídeo local para upload.
2. Selecionar idiomaSelecione o idioma a ser traduzido no menu suspenso "Target language" (Idioma de destino).
3. Opções de configuração::
   • Geração de subtítulosMarque a opção "Generate subtitle" (Gerar legenda) para que o sistema gere automaticamente o arquivo de legenda traduzido.
   • substituição da falaSe você marcar a opção "Voice Replacement" (Substituição de voz), o sistema substituirá a voz original do vídeo pelo modelo TTS.
4. Iniciar traduçãoClique no botão "Start Translation" (Iniciar tradução) e o sistema começará a processar o vídeo e a traduzi-lo.
5. Ver o progressoVerifique o progresso atual da tradução na coluna "Translation Progress" e aguarde a conclusão da tradução.
6. Resultados do downloadQuando a tradução estiver concluída, clique no botão "Download", selecione o formato de saída desejado (MP3, MP4, MKV, WAV ou OGG) e faça o download do arquivo resultante.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>