FaceFusion : Outil d'amélioration de l'échange de visages sur vidéo | Synchronisation de la voix Mouvements de la bouche sur vidéo

Dernières ressources sur l'IAMise à jour il y a 7 mois Cercle de partage de l'IA

21.7K 00

Introduction générale

FaceFusion est une plateforme cloud de pointe qui intègre des fonctions d'échange et d'amélioration du visage, optimisant le processus d'échange d'image à vidéo et d'image à image à l'aide de 5 modèles professionnels afin de garantir un résultat impeccable. En outre, elle améliore le visage avec 7 modèles, la qualité de la vidéo et de l'image avec 3 modèles différents, et offre une gamme de fonctions puissantes telles que le remplacement de visage, l'amélioration du visage, la synchronisation des lèvres, et plus encore.

L'objectif de FaceFusion est de fournir aux utilisateurs une solution de remplacement de visage par l'IA facile à utiliser, efficace et riche en fonctionnalités. Le projet GitHub contient des instructions d'installation et d'utilisation qui requièrent des connaissances techniques appropriées.

FaceFusion a été mis à jour vers la version 3.0 avec plus d'optimisations, il est donc recommandé de le mettre à jour, et une variété d'installateurs de FaceFusion en un clic sont disponibles à la fin de l'article. La configuration de l'ordinateur ne peut pas fonctionner, veuillez choisir d'autres excellents programmes gratuits en ligne ! outil d'échange de visages.

Tutoriel FaceFusion :L'outil le plus puissant pour l'échange de visages par l'IA : FaceFusion - tutoriels d'utilisation détaillés

Liste des fonctions

Prise en charge de plusieurs modèles : plusieurs modèles d'échange et d'amélioration des visages sont disponibles, tels que InSwapper_128, GFPGAN, etc.
Traitement haute définition : prend en charge le traitement d'images et de vidéos haute résolution pour garantir la clarté et la qualité des résultats.
Traitement des occlusions : grâce à une technologie avancée de détection et de traitement des occlusions, il résout efficacement le problème du changement de visage en cas d'occlusion partielle.
Compatibilité multiplateforme : prend en charge les principales plateformes graphiques telles que NVIDIA et AMD.
Lip Sync : assure la synchronisation des lèvres entre l'audio et la vidéo.
Open source et gratuit : permet aux utilisateurs de l'utiliser et de le personnaliser librement.

Utiliser l'aide

Guide d'installation

Déploiement local sur Win11 FaceFusion3, échange de visages par l'IA la plus puissante, accélération de l'inférence Tensorrt10.4 intégrée

L'installation de FaceFusion nécessite un certain niveau de connaissances techniques. Pour les utilisateurs qui sont familiers avec les opérations en ligne de commande, vous pouvez suivre les étapes ci-dessous pour l'installation :

FaceFusion3.0.0 est de loin le projet d'échange de visages d'IA le plus puissant à l'heure actuelle. Nous vous expliquons comment déployer localement le projet FaceFusion3.0.0 dans un système Win11, basé sur la dernière version de cuda12.6 avec la dernière version de cudnn9.4, et avec Tensorrt10.4, afin d'améliorer la vitesse et l'efficacité de l'inférence, de sorte que les cartes graphiques de qualité inférieure puissent également exploser en termes de productivité. productivité.

Installez la dernière version de Cuda 12.6 et de Cudnn 9.4.

CUDA est une technologie développée par NVIDIA qui permet aux GPU d'être programmés comme des CPU, permettant aux GPU de participer au calcul, accélérant ainsi le processus de calcul. Il s'agit d'un "langage" qui permet aux programmeurs d'ordonner aux "travailleurs" des GPU de travailler ensemble.

cuDNN est une "boîte à outils" conçue spécifiquement pour l'apprentissage profond. L'apprentissage profond est comme la construction d'une maison, qui nécessite de nombreux "blocs", tels que la convolution, le pooling, etc. cuDNN fournit ces "blocs" pré-optimisés, que les programmeurs peuvent utiliser directement sans avoir à écrire ces codes complexes à partir de zéro, ce qui améliore considérablement la vitesse de formation et d'inférence des modèles d'apprentissage profond. La vitesse de formation et d'inférence des modèles d'apprentissage profond s'en trouve ainsi grandement améliorée. C'est comme un bâtisseur expérimenté qui peut terminer la construction d'une maison rapidement et efficacement.

Le programme d'installation peut être téléchargé depuis le site officiel de Nvidia, mais vous devez être connecté à votre compte Nvidia, et le dernier programme d'installation a été téléchargé ici pour vous :

https://pan.quark.cn/s/bc3ab3494596

Tout d'abord, double-cliquez sur cuda_12.6.1_560.94_windows.exe pour l'installer, attention à ne pas l'installer sur le lecteur C, car il prend trop de place, il est recommandé de créer un répertoire 12.6 dans l'autre lettre du lecteur, puis de l'installer.

Une fois l'installation réussie, exécutez la commande pour vérifier :

(base) PS C:\Users\zcxey> nvcc -V  
nvcc: NVIDIA (R) Cuda compiler driver  
Copyright (c) 2005-2024 NVIDIA Corporation  
Built on Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024  
Cuda compilation tools, release 12.6, V12.6.68  
Build cuda_12.6.r12.6/compiler.34714021_0  
(base) PS C:\Users\zcxey>

Vous pouvez voir que la version affichée est 12.6.

Ouvrez ensuite le répertoire cudnn-windows-x86_64-9.4.0.58_cuda12-archive, et copiez et écrasez les répertoires bin, include et lib directement dans le répertoire d'installation de cuda. À ce stade, cuda12.6 et son correspondant cudnn9.4 sont installés, notez que les numéros de version doivent correspondre.

Installation de Tensorrt 10.4

En ce qui concerne Tensorrt, imaginez que vous avez dressé un chien très intelligent (votre modèle d'apprentissage profond) qui a appris à reconnaître diverses images de chats et de chiens. Cependant, le chien prend beaucoup de temps pour reconnaître les images à chaque fois, ce qui n'est pas très efficace.

TensorRT est comme un entraîneur qui vous aidera à dresser ce chien pour qu'il soit plus efficace. Il optimisera le chien pour qu'il puisse reconnaître des images plus rapidement et plus précisément, et qu'il consomme moins d'énergie. Ainsi, avec un modèle optimisé par TensorRT, il sera capable de raisonner (reconnaître des images) plus rapidement sur votre ordinateur ou votre serveur, économisant ainsi du temps et des ressources.

Tensorrt se concentre sur les modèles qui ont déjà été formés, plutôt que sur le modèle lui-même. Il s'agit d'un optimiseur professionnel qui permet à vos modèles de fonctionner plus rapidement et avec moins d'efforts dans les applications du monde réel.

Ouvrez le répertoire TensorRT-10.4.0.26 et copiez tous les fichiers dll de la bibliothèque dynamique dans le répertoire lib vers le répertoire bin du répertoire d'installation de cuda12.6 :

Directory of D:\12.6\bin  
2024/09/27  11:08    <DIR>          .  
2024/09/27  10:48    <DIR>          ..  
2024/08/15  02:14           228,352 bin2c.exe  
2024/08/15  02:01                66 compute-sanitizer.bat  
2024/09/27  10:48    <DIR>          crt  
2024/08/15  02:11           202,752 cu++filt.exe  
2024/08/15  02:34       100,806,656 cublas64_12.dll  
2024/08/15  02:34       510,903,296 cublasLt64_12.dll  
2024/08/15  02:14         7,739,904 cudafe++.exe  
2024/08/15  02:11           556,544 cudart64_12.dll  
2023/11/30  16:26           288,296 cudnn64_8.dll  
2024/09/01  04:24           265,272 cudnn64_9.dll  
2024/09/01  04:24       243,945,512 cudnn_adv64_9.dll  
2023/11/30  16:26       125,217,320 cudnn_adv_infer64_8.dll  
2023/11/30  16:26       116,558,888 cudnn_adv_train64_8.dll  
2024/09/01  04:24         4,002,872 cudnn_cnn64_9.dll  
2023/11/30  16:26       582,690,344 cudnn_cnn_infer64_8.dll  
2023/11/30  16:26       122,242,104 cudnn_cnn_train64_8.dll  
2024/09/01  04:24       432,804,904 cudnn_engines_precompiled64_9.dll  
2024/09/01  04:24        16,297,000 cudnn_engines_runtime_compiled64_9.dll  
2024/09/01  04:25         2,063,400 cudnn_graph64_9.dll  
2024/09/01  04:25        44,681,784 cudnn_heuristic64_9.dll  
2024/09/01  04:25       107,492,904 cudnn_ops64_9.dll  
2023/11/30  16:26        89,759,272 cudnn_ops_infer64_8.dll  
2023/11/30  16:26        70,162,472 cudnn_ops_train64_8.dll  
2024/08/15  03:03       275,258,368 cufft64_11.dll  
2024/08/15  03:03           163,328 cufftw64_11.dll  
2024/08/15  02:45         1,513,984 cuinj64_126.dll  
2024/08/15  02:11        11,713,024 cuobjdump.exe  
2024/08/15  02:25        63,279,104 curand64_10.dll  
2024/08/15  04:12       116,768,256 cusolver64_11.dll  
2024/08/15  04:11        77,813,248 cusolverMg64_11.dll  
2024/08/15  03:09       287,497,216 cusparse64_12.dll  
2024/08/15  02:14           881,664 fatbinary.exe  
2024/08/15  03:20           292,352 nppc64_12.dll  
2024/08/15  03:20        16,235,008 nppial64_12.dll  
2024/08/15  03:20         6,234,624 nppicc64_12.dll  
2024/08/15  03:20         9,865,728 nppidei64_12.dll  
2024/08/15  03:20        96,892,416 nppif64_12.dll  
2024/08/15  03:20        39,228,416 nppig64_12.dll  
2024/08/15  03:20         9,341,952 nppim64_12.dll  
2024/08/15  03:20        36,831,232 nppist64_12.dll  
2024/08/15  03:20           265,728 nppisu64_12.dll  
2024/08/15  03:20         4,221,440 nppitc64_12.dll  
2024/08/15  03:20        12,687,872 npps64_12.dll  
2024/08/15  02:34           331,776 nvblas64_12.dll  
2024/08/15  02:14        14,029,824 nvcc.exe  
2024/08/15  02:14               343 nvcc.profile  
2024/08/15  02:11        50,708,480 nvdisasm.exe  
2024/08/15  02:14           838,656 nvfatbin_120_0.dll  
2024/08/30  19:47       215,426,088 nvinfer_10.dll  
2024/08/30  19:46             5,688 nvinfer_10.lib  
2024/08/30  19:48     1,436,593,704 nvinfer_builder_resource_10.dll  
2024/08/30  19:47           616,488 nvinfer_dispatch_10.dll  
2024/08/30  19:46             4,362 nvinfer_dispatch_10.lib  
2024/08/30  19:46        29,457,448 nvinfer_lean_10.dll  
2024/08/30  19:46             5,104 nvinfer_lean_10.lib  
2024/08/30  19:47        30,986,792 nvinfer_plugin_10.dll  
2024/08/30  19:46             2,564 nvinfer_plugin_10.lib  
2024/08/30  19:47           565,288 nvinfer_vc_plugin_10.dll  
2024/08/30  19:46             2,374 nvinfer_vc_plugin_10.lib  
2024/08/15  02:13        38,856,192 nvJitLink_120_0.dll  
2024/08/15  02:23         4,901,888 nvjpeg64_12.dll  
2024/08/15  02:14        20,608,000 nvlink.exe  
2024/08/30  19:47         3,064,872 nvonnxparser_10.dll  
2024/08/30  19:46             2,524 nvonnxparser_10.lib  
2024/08/15  02:45         2,210,304 nvprof.exe  
2024/08/15  02:11           254,464 nvprune.exe  
2024/08/15  02:11         5,345,792 nvrtc-builtins64_126.dll  
2024/08/15  02:11        45,535,744 nvrtc64_120_0.alt.dll  
2024/08/15  02:11        45,475,328 nvrtc64_120_0.dll  
2024/08/15  03:45               129 nvvp.bat  
2024/08/15  02:14        20,220,416 ptxas.exe  
2024/08/15  02:14            84,480 __nvcc_device_query.exe  
71 File(s)  5,612,029,986 bytes  
3 Dir(s)  128,267,644,928 bytes free

Ceci termine l'installation de Tensorrt 10.4.

Installation et déploiement de FaceFusion 3.0.0

Tout d'abord, assurez-vous d'avoir une installation locale de Python 3.11, puis clonez le projet officiel.

git clone https://github.com/facefusion/facefusion.git
cd facefusion

Installation des dépendances de base.

pip3 install -r requirements.txt

Installez ensuite onnxruntime-gpu.

pip3 install onnxruntime-gpu

Le Runtime-GPU ONNX est un moteur d'inférence haute performance capable d'exécuter des modèles d'apprentissage automatique représentés dans le format ONNX (Open Neural Network Exchange). La clé est la partie "GPU", ce qui signifie qu'il est optimisé pour le processeur graphique (GPU) de NVIDIA afin d'exécuter les modèles plus rapidement et plus efficacement que sur un CPU.

Notez que la version par défaut de onnxruntime-gpu installée est la 19.2, qui est spécifiquement adaptée à cuda12.

Installer la bibliothèque tensorrt :

pip3 install tensorrt==10.4.0 --extra-index-url https://pypi.nvidia.com

Voici la bibliothèque d'exécution python 3.11 pour tensorrt.

Enfin, installer la torche.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Notez que le suffixe est cu124, et non cu118 ou cu121.

Une fois l'installation réussie, allez dans le terminal python 3.11 :

>>> import onnxruntime as ort  
>>> print(ort.get_available_providers())  
['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

Si les trois supports de backend sont imprimés, cpu, cuda et Tensorrt, la configuration et l'installation ont réussi.

Exécuter la commande.

python3 facefusion.py run

Accédez à l'interface principale de l'échange de visages.

Grâce à Tensorrt, il est également possible d'échanger des visages en temps réel, en allant sur l'interface d'échange de visages de l'appareil photo :

python3 facefusion.py run --ui-layouts webcam

Effet de permutation du visage de l'appareil photo :

Enfin, notez que FaceFusion 3.0.0 nécessite une installation locale du logiciel ffmpeg :

winget install -e --id Gyan.FFmpeg

Pour les utilisateurs qui ne sont pas familiers avec la ligne de commande, FaceFusion fournit un programme d'installation Windows pour compléter rapidement le processus d'installation.

Lignes directrices pour l'utilisation

fonctionnement de base

Démarrer FaceFusion :
```
python run.py
```
Sélectionnez Image source : téléchargez une image contenant le visage que vous souhaitez remplacer.
Sélectionnez l'image ou la vidéo cible : téléchargez une image ou une vidéo du visage à remplacer.
Paramètres de réglage : Réglez les paramètres tels que la détection des visages, le modèle d'échange, les paramètres d'amélioration, etc. selon les besoins.
Démarrer le traitement : cliquez sur le bouton "Démarrer" et attendez la fin du traitement.

Fonctionnalités avancées

Traitement de masquage :
- commencer à utiliser face_debugger Options.
- Sélectionnez le mode de masquage approprié (boîte, occlusion, région).
- s'adapter Face Mask Blur pour optimiser l'effet d'occlusion.
Traitement HD :
- commencer à utiliser face_enhancer Options.
- Choisissez un modèle d'amélioration approprié tel que GFPGAN1.4 ou codeformer.
- s'adapter Face Detector Size d'améliorer les compétences en matière d'étiquetage.
Synchronisation labiale :
- commencer à utiliser lip_syncer Options.
- Télécharger le fichier audio.
- Sélectionnez le modèle de synchronisation labiale approprié.

compétence pratique

Optimisation des performances :
- Choisir le bon modèle en fonction du type de carte graphique Execution Provider(NVIDIA utilise CUDA, AMD utilise DirectML).
- s'adapter Execution Thread Count pour équilibrer la vitesse de traitement et l'utilisation de la mémoire.
Traitement multi-face :
- utiliser Face Selector Mode Sélectionnez cette option pour traiter un ou plusieurs visages.
- s'adapter Reference Face Distance afin d'améliorer la précision de l'appariement des visages à angles multiples.
Traitement des visages de dessins animés :
- utiliser simswap_256 pour le remplacement de la face du dessin animé.
- commencer à utiliser face_enhancer Il s'agit de mettre en valeur les yeux, le nez et la bouche.

Questions fréquemment posées

FaceFusion prend-il en charge le traitement en temps réel ? FaceFusion est actuellement optimisé pour le traitement hors ligne, mais la vitesse de traitement peut être augmentée en ajustant les paramètres.
Comment puis-je améliorer le caractère naturel des résultats de ma greffe de visage ? Des ajustements peuvent être tentés Face Mask Blur et utiliser une image source de haute qualité. Activez également la fonction face_enhancer Les résultats peuvent encore être améliorés.
FaceFusion prend-il en charge le traitement par lots ? Oui, FaceFusion prend en charge le traitement par lots des images et des vidéos. Il peut être configuré via les paramètres de la ligne de commande ou l'interface graphique.