KrillinAI: ferramenta de globalização multilíngue para vídeo com tradução e dublagem em um clique

Introdução geral

O KrillinAI é uma ferramenta de processamento de vídeo de código aberto que se concentra no uso da inteligência artificial para ajudar os usuários a traduzir vídeos e dublá-los automaticamente. Ela pode começar com o download do vídeo e continuar a gerar produtos acabados para diferentes plataformas com apenas alguns cliques. Os desenvolvedores disponibilizaram o código gratuitamente no GitHub, para que os usuários possam baixá-lo e executá-lo localmente. O KrillinAI usa a tecnologia LLM (Large Language Modelling) para fornecer traduções e geração de legendas de alta qualidade e, atualmente, suporta traduções para 56 idiomas, com entradas em chinês, inglês, japonês e outros. Ele também ajusta os formatos de vídeo e se adapta a plataformas como YouTube, TikTok e Jieyin, tornando-o adequado para que os criadores de conteúdo produzam rapidamente vídeos multilíngues.

Lista de funções

• Download e upload de vídeosSuporte a download de vídeos do YouTube, Jitterbug, Bilibili ou upload de arquivos locais.
• Geração precisa de legendasReconhecimento de fala: a fala é reconhecida usando a tecnologia Whisper para gerar legendas altamente precisas.
• Divisão inteligente de legendasSegmentação de legendas: A segmentação de legendas é feita naturalmente por meio de um grande modelo de linguagem, mantendo a integridade semântica intacta.
• tradução profissionalTradução de parágrafos inteiros para garantir a consistência contextual e um nível quase humano.
• Dublagem e clonagem de vozVoz: Forneça vozes masculinas e femininas para o CosyVoice ou carregue um clone de áudio de sua voz.
• Ajuste do formato de vídeoGeração automática de vídeo em paisagem ou retrato, adaptando-se a diferentes plataformas.
• Substituição da terminologiaSuporte à substituição de vocabulário em um clique em campos especializados.

Usando a Ajuda

Processo de instalação

O KrillinAI precisa ser instalado localmente para ser executado. Aqui estão as etapas detalhadas:

1. Baixar arquivo
   • Abra https://github.com/krillinai/KrillinAI.
   • Clique em "Releases" no canto superior direito da página para fazer o download da versão apropriada para seu sistema (por exemplo, Windows, macOS).
   • Extraia os arquivos para uma pasta vazia.
2. Ambiente de configuração
   • Crie uma pasta no diretório config Pasta.
   • existir config Crie uma nova pasta no diretório config.toml Documentação.
   • Na página do GitHub config-example.toml Copie o conteúdo para config.tomle, em seguida, preencha a configuração.
   • Configuração mais simples: use apenas o serviço OpenAI e preencha o seguinte:

     [openai]
     apikey = "你的OpenAI API密钥"
     transcription_provider = "openai"
     llm_provider = "openai"
     

   • Se for necessário um proxy ou modelo personalizado, adicione app.proxy talvez openai.base_url.
3. programa de corrida
   • Windows (computador)Clique duas vezes no executável para iniciá-lo.
   • macOSConfiança manual é necessária, pois não é assinada:
     • Abra um terminal e vá para o diretório de arquivos.
     • Digite o comando:

       sudo x'attr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
       sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
       ./KrillinAI_1.0.0_macOS_arm64
       

   • Após a inicialização, o serviço é executado em http://127.0.0.1:8888(A porta pode ser alterada).
4. Implantação do Docker (opcional)
   • Na seção docs/docker.md Exibir etapas detalhadas.
   • Instale o Docker, extraia a imagem e execute-a.

Operação das principais funções

Tradução de vídeo e geração de legendas

• mover::
  1. Depois de iniciar o serviço, o navegador acessa o http://127.0.0.1:8888.
  2. Digite o link do vídeo (por exemplo https://www.youtube.com/watch?v=xxx) ou carregar um arquivo.
  3. Selecione o idioma de entrada (por exemplo, chinês) e o idioma de destino (por exemplo, inglês).
  4. Clique em "Start" (Iniciar) e o programa reconhecerá automaticamente a fala, gerará legendas e as traduzirá.
• no final: Os arquivos de legenda são salvos no tasks Pasta.
• tomar nota deSe o download falhar, configure o cookies.txtparecer (ser algo) docs/get_cookies.md.

função de dublagem

• mover::
  1. Depois que as legendas forem geradas, clique na opção "Dubbing" (Dublagem).
  2. Escolha uma voz masculina ou feminina para o CosyVoice ou carregue uma amostra de áudio para clonar a voz.
  3. Clique em "Generate" (Gerar) e o programa sintetizará automaticamente a narração.
• no finalVoz e vídeo: a narração e o vídeo são mesclados para gerar um novo arquivo.
• caracterizaçãoSuporte à dublagem em vários idiomas, e as faixas de áudio e as legendas são alinhadas com precisão.

Ajuste do formato de vídeo

• mover::
  1. Ao gerar um vídeo, selecione "Landscape" (Paisagem) ou "Portrait" (Retrato).
  2. Clique em "Finish" (Concluir) e o programa ajustará a resolução e o layout da legenda.
• no finalSaída de vídeos adaptados ao YouTube (paisagem) ou ao TikTok (retrato).
• chamar a atenção para algoLegendas: As legendas mudarão automaticamente de linha se forem muito longas, garantindo uma imagem limpa e organizada.

Operação da função em destaque

Divisão inteligente de legendas

• O programa analisa a fala usando um grande modelo de linguagem e divide as legendas por semântica. Por exemplo, um diálogo de 10 segundos é dividido em segmentos com base na integridade da frase, em vez de um corte de tempo fixo.
• Não é necessária nenhuma configuração manual, o processamento é feito automaticamente.

Substituição da terminologia

• mover::
  1. existir config.toml Adicione uma regra de substituição como, por exemplo:

     [custom_vocab]
     "AI" = "人工智能"
     "LLM" = "大语言模型"
     

  2. Reinicie o programa e substitua-o automaticamente ao traduzir.
• usoAdequado para áreas como tecnologia, educação, etc., para garantir uma terminologia precisa.

clonagem de som

• mover::
  1. Carregue uma amostra de áudio de 10 a 30 segundos na tela de narração.
  2. Selecione "Clone Sound" e o programa gerará um som semelhante.
• solicitaçãoSe estiver usando o serviço AliCloud, você precisará configurar aliyun.ossparecer (ser algo) docs/aliyun.md.

Opções adicionais de configuração

• modelo local: Configurações transcription_provider = "fasterwhisper"Campos obrigatórios local_model.faster_whisperO download do modelo será feito automaticamente (o macOS ainda não é compatível).
• Serviços AliCloudSe você usar os modelos grandes ou a dublagem do AliCloud, precisará configurar o aliyun.bailian talvez aliyun.speech.

cenário do aplicativo

1. Criação de conteúdo multilíngue
   • Os blogueiros do YouTube querem traduzir vídeos chineses para o inglês e o francês. O KrillinAI gera rapidamente legendas e narrações em formato paisagem.
2. Promoção de vídeo curto
   • Os comerciantes usam o Jitterbug para promover seus produtos, e a KrillinAI converte o vídeo em tela vertical com o idioma local para aumentar o apelo.
3. Compartilhamento de recursos educacionais
   • Os professores traduzem os vídeos do curso em vários idiomas, e o KrillinAI fornece legendas e dublagens precisas para alunos do mundo todo.

QA

1. Por que a API está ausente na inicialização?
   • precisa estar em config.toml Preencha o campo apikeyPara obter mais informações, acesse o site da OpenAI.
2. Quais idiomas de entrada são suportados?
   • Atualmente, suporta chinês, inglês, japonês, alemão, turco e mais idiomas em desenvolvimento.
3. Quanto tempo leva para traduzir e dublar?
   • O processamento de um vídeo de 10 minutos leva cerca de 5 a 10 minutos, dependendo da rede e da configuração.
4. Como faço para corrigir uma falha no download?
   • configurar cookies.txtreferência docs/get_cookies.md Exportar cookies do navegador.