FaceFusion 3.1.x, novo sistema de processamento em lote, atualização de modelo, NSFW, atualizações recomendadas!

FaceFusion Atualizado para a versão 3.1.1. Esta atualização adiciona a função de lote, o modelo de mudança de face e uma nova interface de interface do usuário. Desta vez, o lote é diferente da versão anterior do formulário de fluxo de trabalho e a operação é mais conveniente e simples.

Este artigo usa o FaceFusion para explicar um determinado cliente envolvente:FaceFusion: Ferramenta de aprimoramento de troca de rosto em vídeo | Movimentos de boca em vídeo com sincronização de voz Confira o final do artigo.

Atualizações

novo recurso

• aprovar (um projeto de lei ou inspeção etc.) execução em lote Comando para introduzir a função de lote
• Adicionar mascarador de rosto e analisador de rosto ajustáveis
• Atualização da interface do usuário para o Gradio versão 5
• Adicionar opção para selecionar o dispositivo da webcam no modo de troca de rosto ao vivo

Novos modelos

• aumentar a conscientização sobre DeepFaceLive Suporte ao modelo
• adicionais hififace_256 modelo de transplante facial
• Modelo de aprimoramento de quadro atualizado

Otimização e correção de problemas

• Otimização dos processadores de modificação de idade para reduzir os efeitos de halo
• crescente ---temp-path para alterar o caminho temporário do recurso
• Adicionar codificador de vídeo h264_qsv responder cantando hevc_qsv
• Remover obsoleto --skip-download parâmetros
• Otimização de problemas ao fechar fluxos de webcam
• uso obrigatório libvpx-vp9 codecs webm lidar com
• Correção de atualizações de visualização inconsistentes
• Correção do problema de duração do vídeo ao restaurar o áudio
• Correção de problemas do OpenVINO
• Adicionar barra de progresso para extração e mesclagem de vídeo

Atualizações adicionais

Fiz mais otimizações e aprimoramentos na versão 3.1.1

• Sistema de processamento em lote incorporado, agora com a opção de alternar entremodo normalresponder cantandomodo de loteDois tipos.
• O modo em lote suporta a alteração em lote de imagens e vídeos.

modo de lote

O modo em lote é um recurso experimental. Por favor, dê seu feedback se encontrar erros! 📢

Duas pastas precisam ser preparadas antes de usar o modo em lote 📂

Um para armazenar fotos de rostos. (A resolução da imagem não precisa ser consistente, mas observe que a formatação precisa ser uniforme!)

Um para colocar as imagens/vídeos que você precisa alterar. (Fotos e vídeos são ótimos! Eu coloquei o vídeo aqui)

(！！！！ Certifique-se de que não haja caracteres especiais, como chinês, no caminho do arquivo ou no nome do arquivo (！！！！)

(！！！！ Certifique-se de que não haja caracteres especiais, como chinês, no caminho do arquivo ou no nome do arquivo (！！！！)

(！！！！ Certifique-se de que não haja caracteres especiais, como chinês, no caminho do arquivo ou no nome do arquivo (！！！！)

Abra o FaceFusion e selecione Batch Mode (Modo de lote).

Preencha o caminho da imagem de troca de rosto aqui no arquivo de origem

Exemplo de caminho do Windows:D:\AI\DUDU\facefusion\test

Exemplo de caminho MAC:/Usuários/ccua/Downloads/Dom-Lab/face/test

Escolha o formato da imagem, você está preparado para escolher jpg se for jpg, png se for png (observe que o formato tem uma diferença de caso! JPG não é o mesmo que jpg!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!).

No arquivo de destino, digite o caminho para onde deseja alterar o vídeo/imagem.

Exemplo de caminho do Windows:D:\AI\DUDU\facefusion\target

Exemplo de caminho MAC:/Usuários/ccua/Downloads/Dom-Lab/face/target

Selecione o formato do arquivo de destino e mantenha o mesmo formato do arquivo na pasta. (Observe que o formato tem uma diferença de caso! MP4 não é o mesmo que mp4!!!)

Certifique-se de que todos os parâmetros acima estejam definidos e clique em Start (Iniciar). O lote começará a ser executado em segundo plano. O progresso precisa ser visualizado no inicializador.

Visualização do progresso.

Os resultados gerados são visualizados no diretório de saída após a execução.

uso do modelo deepfacelive

O modo de execução é selecionado aquideepfacelive. Cancelamentotransplante de rostoOpções.

A parte inferior será exibidamodelo de transplante facial profundoopções (como nas configurações de software de computador)

Por padrão, há muitos modelos de estrelas aqui, todos eles treinados.

por exemploelon_musk_224É Elon Musk.emilia_clarke_244É de Emilia Clarke (Mãe Dragão).

depois dissodocumento de destinoCarregue a imagem/vídeo que deseja alterar e você verá que a visualização tem o efeito correspondente.

Entretanto, na prática, há momentos em que a face da mudança é muito "mole". Isso tem a ver com a escolha dedeepfaceliveé relevante, e marcar a opçãoaprimoramento facialresponder cantandoaprimoramento de quadrosNão é válido para resultados gerados.

Eficácia do vídeo

tomar nota de

Devido ao tamanho relativamente grande dos modelos (quase 100G ou mais), só tenho no pacote de integração oiperov/Um modelo de Musk no início. Se precisar de outros modelos, você pode baixá-los neste endereço.

https://huggingface.co/facefusion

Os modelos baixados são salvos em.assets\models\ sufixosPor exemplofacefusion/deepfacelive-models-edelOs modelos são baixados para.assets\models\edelMédio.

Modelos personalizados

Como usar seu próprio treinamentodeepfaceliveModelos?

Sobre o treinamentodeepfaceliveDevido a restrições de espaço, não entraremos em detalhes aqui, portanto, você pode pesquisar e aprender por conta própria.

No diretório raiz do projeto.assets\models\Criar umpersonalizadoarquivo (papel)

Coloque seu próprio modelo treinado (arquivo .dfm) no arquivo.assets\models\customcatálogo

Reinicie o FaceFusion emmodelo de transplante facial profundoAs opções são puxadas para baixo até a parte inferior para ver os arquivos de modelo personalizados que foram inseridos.

problemas comuns

• P: Qual é o nível de configuração necessário para o modo em lote? Qual é a diferença em relação ao modo normal?
• R: Não há diferença! Um é executado individualmente, o outro é executado em uma fila em lote! Preparar um disco rígido maior pode ser (a execução da necessidade de fatiar quadros de vídeo, quanto mais tempo você preparar o vídeo, mais quadros serão fatiados, ocupando mais disco rígido!)

• P: Diferença entre o modo de lote e o fluxo de trabalho
• R: O modo de lote é baseado no fluxo de trabalho, a liberdade do fluxo de trabalho pode ser despachada de forma alta e difícil! O modo em lote é simples e mais adequado para brancos!

• P: Posso realizar outras operações durante a execução de um lote?
• R: Não mude para o modo normal para troca de rosto ou visualização!

• P: Há algum problema em encerrar o programa na metade da execução?
• R: Fechar o programa durante a execução da troca de faces fará com que o arquivo de quadro de cache do vídeo atual permaneça no disco rígido local. A solução é excluir os arquivos no diretório raiz do pacote de integração.\Cache\VideoCacheO conteúdo da pasta é suficiente.

• P: Por que há apenas três modos no modo de lote?
• R: Outros modos serão suportados posteriormente e ainda estão em desenvolvimento e teste.

• P: Posso alterar uma imagem para vários vídeos no modo em lote?
• R: Pode ser de um para muitos e de muitos para muitos.

Um exemplo:

Insira uma imagem e três vídeos. No final, ele gerará três vídeos para mudar o rosto de acordo com essa imagem.

Insira duas imagens e um vídeo. Por fim, ele gerará dois vídeos para mudar o rosto de acordo com essa imagem.

Insira três imagens e três vídeos. No final, ele gerará nove vídeos para mudar o rosto de acordo com essa imagem.

Requisitos de configuração

GANHAR

A placa Windows N requer 6G de memória de vídeo

O pacote de integração vem com o ambiente cuda, sem necessidade de instalar cuda adicional

Atenção usuários de placas de vídeo da série 10 👇🏻👇🏻

Se o pacote de integração estiver sendo executado com um erro relacionado à cuda, o método de execução deverá ser cancelado.cudaopção, selecionecpu (computador).

MAC

Chip MAC Apple Silicon M1/M2/M3/M4

Recomendado 8G de RAM ou mais