Troca de rosto com IA - a ferramenta mais poderosa: tutorial detalhado de uso do FaceFusion (com um pacote de integração importante)

Olá a todos, hoje eu gostaria de compartilhar com vocês uma ferramenta de troca de rosto - FaceFusion, a nova versão dessa ferramenta aumentou muitos modelos e algoritmos HD em comparação com a versão antiga, o que melhora muito o efeito de troca de rosto em fotos e vídeos. Ela também adiciona três tipos de função de máscara, o que resolve o problema do efeito de fusão ruim e do flash de salto quando há um objeto bloqueando o rosto. A primeira parte apresenta como instalá-lo localmente e, em seguida, demonstra o processo e as configurações de troca de rosto mais comumente usados. A terceira parte apresenta a função de máscara em detalhes e demonstra o uso de diferentes máscaras.

montagem

Pacote de integração com um clique para obtê-lo:FaceFusion: Ferramenta de aprimoramento de troca de rosto em vídeo | Movimentos de boca em vídeo com sincronização de voz

Tutoriais

Para demonstrar o pacote de integração "Doodle Labs", descompacte o pacote e clique duas vezes no arquivoIniciar o Integration Pack.exe

Entre na interface CMD e aguarde um pouco.

Quando o programa é aberto, esta é a tela principal

Vamos começar com uma breve visão geral de algumas configurações comuns.

processador de quadros

Em relação ao processador de quadros, podemos ver quatro opções:

A primeira opção étrocador de rosto(Face Swap Mode) está marcada por padrão; caso contrário, a troca de faces não será possível.

A segunda opção édepurador facial(Modo de depuração) Usado para depuração quando você ativa a máscara. Não é necessário marcá-la quando você muda de face normalmente.

A terceira éaprimorador facial(Face Enhancement) é mais comumente usado e, quando ativado, pode melhorar a nitidez dos rostos das pessoas no vídeo convertido.

A quarta éaprimorador de quadro(Picture Enhancement) é mais comumente usada e, quando ativada, pode melhorar a clareza geral do vídeo convertido. (Essa opção aumentará muito o tempo de processamento, marque a opção apropriada de acordo com seu hardware)

Modelo de trocador facial

A lista suspensa serve para selecionar o modelo de troca de face.

• inswapper_128 e inswapper_128_fp16

O padrão éinswapper_128_fp16Esse modelo já é capaz de lidar com a maioria dos cenários de troca de rosto.128Isso se refere ao processamento de imagens com uma resolução de 128x128 pixels.fp16Isso se refere ao fato de que o modelo usa números de ponto flutuante de 16 bits (FP16) para computação, o que geralmente significa que ele pode reduzir a demanda por recursos computacionais e acelerar o processamento, mantendo a precisão suficiente, e é particularmente adequado para ambientes com recursos limitados ou aplicativos que exigem processamento em tempo real.

• blendswap_256

Esse modelo pode se concentrar na combinação e troca de faces de duas imagens que256Indica que a resolução da imagem ou a resolução de saída em que o modelo funciona é de 256x256 pixels. Essa resolução é adequada para imagens menores e aplicativos que exigem processamento rápido.

• simswap_256

Esse modelo usa um algoritmo de troca de similaridade que256Refere-se ao processamento do modelo com uma resolução de 256x256 pixels. Esse modelo é capaz de obter efeitos de troca facial de alta qualidade, mantendo a qualidade da imagem original.

• simswap_512_unofficial

Esse modelo é semelhante aosimswap_256Semelhante.512É mostrado que essa versão do modelo suporta uma resolução mais alta, ou seja, 512x512 pixels, e é capaz de gerar resultados de troca facial de maior definição.não oficialIndica que essa versão não é um lançamento oficial, mas é uma modificação ou extensão feita por membros da comunidade com base no modelo original.

Escolha um modelo diferente no contexto de seu próprio projeto. Use números de ponto flutuante de 16 bits (comoinswapper_128_fp16) é uma técnica de otimização que acelera a execução de modelos sem afetar significativamente a qualidade do resultado. Resoluções mais altas (por exemplosimswap_512) pode fornecer detalhes mais precisos, mas também exige mais recursos computacionais e tempo de processamento.

Executar a seleção do modo de programa

Há três opções aqui. Se você tiver um cartão N, selecione a opçãoCudaSe você tiver uma placa A ou gráficos integrados, selecione CPU.

Número de threads de execução

Isso é ajustado de acordo com o hardware da GPU; se você tiver menos de 8G de memória de vídeo, mantenha o padrão. Se você tiver mais de 8G de memória de vídeo, poderá ajustá-lo para 8-10. (Dependendo da situação, isso é apenas uma referência)

Número de filas de execução

Esse parâmetro é usado somente quando você usa o script para executar a mudança de face em lote; não é necessário defini-lo na página da Web, basta manter o padrão aqui.

Política de memória de vídeo, limites de memória do sistema

Também não é necessário fazer nenhum ajuste aqui, deixe-o como padrão e deixe o programa se controlar sozinho.

caminho de saída

Esse caminho é o local onde a imagem temporária é armazenada durante a execução da troca de faces e será limpo automaticamente pelo programa após a troca, portanto, não há necessidade de alterá-lo.

Opções comuns

• manter-tempo

Não é recomendável marcar essa caixa. Quando essa opção estiver marcada, as imagens temporárias geradas após a mudança de face serão salvas no diretório temporário definido acima, o que ocupa muito espaço no disco rígido.

• pular áudio

Ignora o processamento de áudio e produz um vídeo sem áudio.

• pular o download

Recomendado marcar. Skip Download (Ignorar download), nossos modelos já foram baixados, você pode marcar essa opção para ignorar a etapa de verificação do download.

transplante facial simples

strike (no teclado)arquivo de origemEscolha uma foto do rosto de uma pessoa, de preferência uma foto frontal, e um rosto nítido que não possa ser obscurecido.

clique novamentedocumento de destinoSelecione a imagem ou o vídeo que deseja substituir.

A parte superior do lado direito é a área de visualização; as configurações a seguir serão descritas em detalhes em um momento; uma única imagem para o rosto basicamente não é usada; clique no botão Iniciar para substituir; substitua o bem depois de clicar aqui para fazer o download e poderá salvar no computador.

Se você quiser um efeito mais nítido, marque Face Enhancement e clique em start again para substituí-lo uma vez.

Esse é o processo mais simples de substituição de face única.

troca múltipla de rosto (por exemplo, gay)

Modo seletor de rosto

• referência

No modo padrão, a detecção de faces da esquerda para a direita e a substituição da primeira face detectada serão listadas aqui. Se você quiser alterar a substituição, basta clicar no ícone da face correspondente.

• um

O modo um substituirá apenas a primeira face detectada.

• muitos

O modo Muitos substitui todas as faces detectadas.

Parâmetro de distância da face de referência

Na maioria dos casos, o valor padrão de 0,6 é suficiente. Exceto quando não for possível reconhecer rostos, por exemplo, se houver algumas tomadas de ângulo grande de cabeça baixa e rosto lateral no vídeo e a correspondência do rosto detectado for muito baixa, você poderá aumentá-lo.

Máscara para o rosto

Por exemplo, nesta imagem, em que o rosto está obscurecido por um objeto, você precisa escolher o modo de máscara adequado para obter um melhor efeito de mistura facial.

Recomenda-se ativar o modo de depuração ao usar máscaras. A caixa vermelha na tela de visualização é a máscara de modo de caixa padrão do programa.

Você pode ver que a parte da máscara mostrará o rosto, e precisamos fazer algo a respeito. Marque o segundo modo de máscara

pode ser visto

Esse modelo calcula a faixa facial restante (a parte em vermelho)

Desfoque de máscara

O padrão é 0,3, que ajusta a transparência do objeto mascarado; se não for um objeto transparente, você poderá ajustá-lo acima de 0,5. Não se esqueça de fechar odepurador facialOpções de depuração para evitar que o rosto seja mascarado para as curvas logo após a alteração do vídeo. Como lembrete, ao usar o modo de máscara fechada, o valor de desfoque da máscara é definido de acordo com a quantidade apropriada, o que pode exigir várias tentativas. Entretanto, esse valor não é tanto maior quanto melhor; para objetos transparentes, como óculos, reduza esse valor em vez de obter um efeito de mistura mais realista.

regiãoModo de área facial

Assinale aquiregiãoPosteriormente, duas linhas de parâmetros aparecerão abaixo, incluindo sobrancelhas, nariz, olhos, boca e outras partes; o padrão é que todas estejam marcadas, ou seja, essas partes serão substituídas por padrão; se você não quiser substituir uma parte do rosto no vídeo original, não poderá marcá-las.

Esta é a forma de usar o FaceFusion, obrigado pela leitura.