Linly-Dubbing: ferramenta inteligente de dublagem/tradução de vídeo multilíngue com IA

Introdução geral

O Linly-Dubbing é uma ferramenta inteligente de tradução e dublagem multilíngue de IA projetada para oferecer aos usuários serviços de tradução de legendas e dublagem de vídeo multilíngue de alta qualidade, integrando tecnologia avançada de IA. A ferramenta é particularmente adequada para cenários como educação internacional e localização global de conteúdo, ajudando as equipes a disseminar conteúdo de alta qualidade em todo o mundo.

Lista de funções

• Suporte a vários idiomasTradução: fornece traduções de dublagem e legendagem em chinês e em muitos outros idiomas para atender às necessidades de globalização.
• Reconhecimento de fala por IAConversão de fala para texto e reconhecimento de locutor usando tecnologia avançada de IA.
• Tradução com modelagem de idiomas grandesCombinado com a modelagem de idiomas de ponta (por exemplo, GPT), as traduções são realizadas com rapidez e precisão, garantindo profissionalismo e naturalidade.
• Clonagem de voz com IAO sistema de clonagem de voz é uma tecnologia de ponta que gera uma voz muito semelhante à dublagem do vídeo original, mantendo a coerência emocional e entoacional.
• Tecnologia de sincronização labial digital de humano para humanoTecnologia de sincronização labial: Por meio da tecnologia de sincronização labial, a narração é altamente compatível com a tela de vídeo, aumentando a sensação de realismo e interatividade.
• Carregamento e tradução flexíveisOs usuários podem fazer upload de vídeos e escolher seu próprio idioma e padrão de tradução, garantindo personalização e flexibilidade.
• atualização regular: Apresentamos continuamente os modelos mais recentes para permanecer na vanguarda da dublagem e da tradução.

Usando a Ajuda

Processo de instalação

1. armazém de clonesPrimeiro, clone o repositório Linly-Dubbing em seu computador local e inicialize os submódulos.

   git clone https://github.com/Kedreamix/Linly-Dubbing.git --depth 1
   cd Linly-Dubbing
   git submodule update --init --recursive
   

2. Instalação de dependênciasCrie um novo ambiente Python e instale as dependências necessárias.

   conda create -n linly_dubbing python=3.10 -y
   conda activate linly_dubbing
   cd Linly-Dubbing/
   conda install ffmpeg==7.0.2 -c conda-forge
   python -m pip install --upgrade pip
   pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   pip install -r requirements_module.txt
   

3. Configuração de variáveis de ambienteCrie o arquivo .env no diretório raiz do projeto e preencha as variáveis de ambiente necessárias.

   OPENAI_API_KEY=sk-xxx
   MODEL_NAME=gpt-4
   HF_TOKEN=seu_token_de_face_de_conforto
   

4. Executar o aplicativoDownload do modelo necessário e inicie a interface WebUI.

   bash scripts/download_models.sh
   python webui.py
   

Processo de uso

1. Carregar vídeoOs usuários podem carregar arquivos de vídeo para serem dublados ou traduzidos por meio da interface WebUI.
2. Seleção de idioma e critériosApós carregar o vídeo, o usuário pode selecionar o idioma a ser traduzido e o padrão de dublagem.
3. Gerar dublagens e legendasO sistema executará automaticamente o reconhecimento de fala, a tradução e a geração de dublagem, além de sincronizar a geração de arquivos de legenda.
4. Resultados do downloadOs usuários podem fazer download dos arquivos de vídeo e de legenda dublados gerados para edição e uso posteriores.

Funções principais

• Download automático de vídeosUse a ferramenta yt-dlp para baixar vídeo e áudio em vários formatos e resoluções.
• separação vocalSeparação de faixas vocais e de apoio usando a tecnologia Demucs e UVR5 para produzir faixas de apoio e extratos vocais de alta qualidade.
• Reconhecimento de fala por IAReconhecimento preciso de fala e geração de legendas usando o WhisperX e o FunASR, com suporte para reconhecimento de vários alto-falantes.
• Tradução com modelagem de idiomas grandesTradução: traduções multilíngues de alta qualidade que combinam a API OpenAI e o modelo Qwen.
• Síntese de fala com IAGere uma saída de voz natural e suave com o Edge TTS e o CosyVoice, com suporte a vários idiomas e estilos de voz.
• Processamento de vídeoPersonalize seu conteúdo de vídeo adicionando legendas, inserindo música de fundo, ajustando o volume e modificando a velocidade de reprodução.
• Tecnologia de sincronização labial digital de humano para humanoSincronização labial digital entre humanos e digitais por meio da tecnologia Linly-Talker para aprimorar o profissionalismo do vídeo e a experiência de visualização.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>