FaceFusion 3.1.x, Nouveau système de traitement par lots, Mise à jour du modèle, NSFW, Mises à jour recommandées !

FaceFusion Mise à jour vers la version 3.1.1. Cette mise à jour ajoute la fonction de lot, le modèle de changement de visage et une nouvelle interface utilisateur. Cette fois, le lot est différent de la version précédente du formulaire de flux de travail, l'opération est plus pratique et plus simple.

Cet article utilise FaceFusion pour expliquer un certain client wrapper, pour obtenir plus de clients wrappés veuillez vous déplacer :FaceFusion : Outil d'amélioration de l'échange de visages sur vidéo | Synchronisation de la voix Mouvements de la bouche sur vidéo Pour plus d'informations, voir la fin de l'article.

Mises à jour

nouvelle fonctionnalité

• faire passer (un projet de loi, une inspection, etc.) batch-run Commande d'introduction de la fonction batch
• Ajout d'un masque de visage réglable et d'un analyseur de visage
• Mise à jour de l'interface utilisateur pour la version 5 de Gradio
• Ajout d'une option permettant de sélectionner le périphérique de la webcam en mode échange de visage en direct

Nouveaux modèles

• Sensibiliser à l'importance de DeepFaceLive Soutien au modèle
• supplémentaires hififace_256 modèle de greffe de visage
• Mise à jour du modèle d'amélioration du cadre

Optimisation et résolution des problèmes

• Optimisation des processeurs de modification de l'âge pour réduire les effets de halo
• en augmentation --temp-path pour modifier le chemin d'accès aux ressources temporaires
• Ajouter un encodeur vidéo h264_qsv répondre en chantant hevc_qsv
• Supprimer l'obsolète --skip-download paramètres
• Optimisation des problèmes lors de la fermeture des flux de webcams
• utilisation obligatoire libvpx-vp9 codecs webm traiter avec
• Correction de l'incohérence des mises à jour de l'aperçu
• Correction du problème de longueur de la vidéo lors de la restauration de l'audio
• Résolution des problèmes liés à OpenVINO
• Ajout d'une barre de progression pour l'extraction et la fusion de vidéos

Mises à jour supplémentaires

J'ai apporté d'autres optimisations et améliorations à la version 3.1.1.

• Système de traitement par lots intégré, avec désormais la possibilité de passer d'un système à l'autre.普通模式répondre en chantant批量模式Deux types.
• Le mode Batch permet de modifier des images et des vidéos par lots.

mode batch

📢 Le mode batch est une fonctionnalité expérimentale, merci de nous faire part de vos remarques si vous rencontrez des bugs ! 📢

Deux dossiers doivent être préparés avant d'utiliser le mode batch 📂

Un pour stocker les photos de visage. (Il n'est pas nécessaire que la résolution de l'image soit constante, mais le formatage doit être uniforme).

Un pour les photos/vidéos à modifier. (Les images et les vidéos ne posent aucun problème ! J'ai mis la vidéo ici)

(！！！！ Assurez-vous qu'il n'y a pas de caractères spéciaux tels que le chinois dans le chemin d'accès au fichier ou dans le nom du fichier ！！！！)

(！！！！ Assurez-vous qu'il n'y a pas de caractères spéciaux tels que le chinois dans le chemin d'accès au fichier ou dans le nom du fichier ！！！！)

(！！！！ Assurez-vous qu'il n'y a pas de caractères spéciaux tels que le chinois dans le chemin d'accès au fichier ou dans le nom du fichier ！！！！)

Ouvrez FaceFusion et sélectionnez le mode par lots.

Remplir le chemin de l'image d'échange de visage ici dans le fichier source

Exemple de chemin d'accès Windows :D:\AI\DUDU\facefusion\test

Exemple de chemin MAC :/Users/ccua/Downloads/Dom-Lab/face/test

Choisissez le format de l'image, vous êtes prêt à choisir jpg si jpg, png si png.(Notez que le format a une différence de casse ! JPG n'est pas la même chose que jpg !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!)

Dans le fichier de destination, entrez le chemin où vous souhaitez modifier la vidéo/l'image.

Exemple de chemin d'accès Windows :D:\AI\DUDU\facefusion\target

Exemple de chemin MAC :/Users/ccua/Downloads/Dom-Lab/face/target

Sélectionnez le format de fichier cible, conservez le même format que le format de fichier dans le dossier. (Notez que le format a une différence de casse ! MP4 n'est pas la même chose que mp4 !!!)

Assurez-vous que tous les paramètres ci-dessus sont définis et cliquez sur Start. Le lot commencera à s'exécuter en arrière-plan. La progression doit être visualisée sur le lanceur.

Vue de l'état d'avancement.

Les résultats générés sont affichés dans le répertoire de sortie après l'exécution.

utilisation du modèle deepfacelive

Le mode d'exécution est sélectionné icideepfacelive. Annulation换脸处理Options.

Le bas de la page apparaît深度换脸模型options (comme dans les paramètres d'un logiciel informatique)

Il y a beaucoup de modèles vedettes par défaut, qui sont tous déjà formés.

par exempleelon_musk_224C'est Elon Musk.emilia_clarke_244C'est celui d'Emilia Clarke (Dragon Mum).

après cela目标文件Téléchargez l'image/vidéo que vous souhaitez modifier, vous pouvez voir l'aperçu de l'effet correspondant.

Cependant, dans la pratique, il arrive que le visage du changement soit très "mou". Cela est lié au choix desdeepfaceliveest pertinent, et en cochant la case脸部增强répondre en chantant帧增强Non valable pour les résultats générés.

Efficacité de la vidéo

prendre note

En raison de la taille relativement importante des modèles (près de 100G), je n'ai dans le pack d'intégration que les éléments suivantsiperov/Un modèle Musk au début. Si vous avez besoin d'autres modèles, vous pouvez les télécharger à cette adresse.

https://huggingface.co/facefusion

Les modèles téléchargés sont enregistrés dans.assets\models\后缀Par exemplefacefusion/deepfacelive-models-edelLes modèles sont téléchargés vers.assets\models\edelAu milieu.

Modèles personnalisés

Comment utiliser votre propre formationdeepfaceliveModèles ?

A propos de la formationdeepfaceliveEn raison de contraintes d'espace, nous ne développerons pas les détails ici, de sorte que vous pouvez faire des recherches et apprendre par vous-même.

Dans le répertoire racine du projet.assets\models\Créer uncustomdossier (papier)

Placez votre propre modèle entraîné (fichier .dfm) dans le fichier.assets\models\customcatalogue

Redémarrer FaceFusion dans深度换脸模型Les options sont tirées vers le bas pour voir les fichiers de modèles personnalisés qui ont été mis en place.

problèmes courants

• Q : Quelle est la configuration nécessaire pour le mode batch ? Quelle est la différence avec le mode normal ?
• R : Aucune différence ! L'une est exécutée individuellement, l'autre est exécutée dans une file d'attente par lots ! Préparer un disque dur plus grand peut être (l'exécution de la nécessité de découper les images vidéo, plus longtemps vous préparez la vidéo, plus d'images seront découpées, prenant plus de disque dur !)

• Q : Différence entre le mode batch et le flux de travail
• R : Le mode batch est basé sur le flux de travail, la liberté du flux de travail peut être programmée de manière élevée et difficile ! Le mode batch est simple et convient mieux aux blancs !

• Q : Puis-je effectuer d'autres opérations pendant l'exécution d'un lot ?
• R : Ne pas passer en mode normal pour l'échange de visages ou la prévisualisation !

• Q : Est-ce un problème d'arrêter le programme à mi-parcours ?
• R : Si vous fermez le programme pendant l'échange de visages, le fichier d'image cache de la vidéo en cours restera sur le disque dur local. La solution consiste à supprimer les fichiers dans le répertoire racine du paquet d'intégration.\Cache\VideoCacheLe contenu du dossier est suffisant.

• Q : Pourquoi n'y a-t-il que trois modes en mode batch ?
• R : D'autres modes seront pris en charge ultérieurement et sont encore en cours de développement et de test.

• Q : Est-il possible de changer plusieurs vidéos pour une image en mode batch ?
• R : Il peut s'agir d'un à plusieurs ou de plusieurs à plusieurs.

Un exemple :

Introduisez une image et trois vidéos. A la fin, il générera trois vidéos pour changer le visage en fonction de cette image.

Insérez deux images et une vidéo. Enfin, il générera deux vidéos pour changer le visage en fonction de cette image.

Mettez trois images et trois vidéos. À la fin, neuf vidéos seront générées pour changer le visage en fonction de cette image.

Exigences de configuration

GAGNER

La carte Windows N nécessite 6G de mémoire vidéo

Le paquet d'intégration est livré avec l'environnement cuda, il n'est pas nécessaire d'installer un cuda supplémentaire.

Attention aux utilisateurs de cartes graphiques de la série 10 👇🏻👇🏻

Si le package d'intégration s'exécute avec une erreur liée au cuda, la méthode d'exécution doit être annulée.cudasélectionnez l'optioncpu.

MAC

MAC Apple Silicon M1/M2/M3/M4 Chip

Recommandé 8G RAM ou plus