FaceFusion: Video Face Swap Enhancement Tool | Voice Sync Video Mouth Moves

Allgemeine Einführung

FaceFusion ist eine hochmoderne Cloud-Plattform, die Funktionen für den Gesichtsaustausch und die Gesichtsverbesserung integriert und den Austauschprozess von Bild zu Video und Bild zu Bild mit 5 professionellen Modellen optimiert, um eine einwandfreie Ausgabe zu gewährleisten. Darüber hinaus führt sie mit 7 Modellen eine Gesichtsverbesserung durch, verbessert mit 3 verschiedenen Modellen die Video- und Bildqualität und bietet eine Reihe leistungsstarker Funktionen wie Gesichtsersatz, Gesichtsverbesserung, Lippensynchronisation und mehr.

Das Ziel von FaceFusion ist es, den Nutzern eine einfach zu bedienende, effiziente und funktionsreiche KI-Gesichtsersatzlösung zu bieten. Das GitHub-Projekt enthält Installations- und Nutzungsanweisungen, für die entsprechende technische Kenntnisse erforderlich sind.

FaceFusion wurde auf 3.0 mit mehr Optimierungen aktualisiert, so ist es empfehlenswert, es zu aktualisieren, und eine Vielzahl von FaceFusion Ein-Klick-Installer sind am Ende des Artikels zur Verfügung. Computer-Konfiguration kann nicht ausgeführt werden, wählen Sie bitte mehr ausgezeichnete kostenlose Online-Lauf! Vertauschungswerkzeug.

FaceFusion Tutorial:Das leistungsstärkste Werkzeug für den AI-Gesichtstausch: FaceFusion - detaillierte Anleitungen zur Verwendung

Funktionsliste

• Unterstützung mehrerer Modelle: Bieten Sie mehrere Modelle für das Vertauschen und Verbessern von Gesichtern an, z. B. InSwapper_128, GFPGAN, usw.
• Hochauflösende Verarbeitung: Unterstützt hochauflösende Bild- und Videoverarbeitung, um die Klarheit und Qualität der Ausgabeergebnisse zu gewährleisten.
• Okklusionsverarbeitung: Durch die fortschrittliche Technologie der Okklusionserkennung und -verarbeitung wird das Problem der Gesichtsveränderung bei teilweiser Okklusion effektiv gelöst.
• Multiplattform-Kompatibilität: Unterstützt gängige Grafikplattformen wie NVIDIA und AMD.
• Lippensynchronisation: Ermöglicht die Lippensynchronisation von Audio zu Video.
• Open Source und kostenlos: Erlaubt den Nutzern die freie Verwendung und Anpassung.

Hilfe verwenden

Installationsanleitung

Win11 lokale Bereitstellung FaceFusion3 stärkster AI-Gesichtstausch, integrierte Tensorrt10.4 Inferenzbeschleunigung

Die Installation von FaceFusion erfordert ein gewisses Maß an technischem Wissen. Benutzer, die mit Befehlszeilenoperationen vertraut sind, können die nachstehenden Schritte zur Installation befolgen:

FaceFusion3.0.0 ist im Großen und Ganzen das derzeit stärkste KI-Gesichtstauschprojekt. Wir zeigen, wie man das FaceFusion3.0.0-Projekt lokal in Win11-Systemen einsetzt, basierend auf dem neuesten cuda12.6 mit dem neuesten cudnn9.4 und mit Tensorrt10.4, um die Inferenzgeschwindigkeit und -effizienz zu verbessern, so dass auch Grafikkarten der Dessertklasse in ihrer Produktivität explodieren können. Produktivität.

Installieren Sie die neueste Version von Cuda 12.6 und Cudnn 9.4.

CUDA ist eine von NVIDIA entwickelte Technologie, die es ermöglicht, Grafikprozessoren (GPUs) wie CPUs zu programmieren, so dass die GPUs an den Berechnungen teilnehmen können, was den Berechnungsprozess beschleunigt. Man kann es sich als eine "Sprache" vorstellen, mit der Programmierer die GPU-"Arbeiter" anweisen können, zusammenzuarbeiten.

cuDNN ist eine "Toolbox", die speziell für Deep Learning entwickelt wurde. Deep Learning ist wie der Bau eines Hauses, für den viele "Blöcke" benötigt werden, wie z. B. Faltung, Pooling usw. cuDNN bietet diese voroptimierten "Blöcke", die Programmierer direkt verwenden können, ohne diese komplexen Codes von Grund auf neu schreiben zu müssen, wodurch die Geschwindigkeit des Trainings und der Inferenz von Deep-Learning-Modellen erheblich verbessert wird. Dadurch wird die Trainings- und Inferenzgeschwindigkeit von Deep-Learning-Modellen erheblich verbessert. Es ist wie ein erfahrener Baumeister, der ein Haus schnell und effizient fertigstellen kann.

Das Installationsprogramm kann von der offiziellen Nvidia-Webseite heruntergeladen werden, aber Sie müssen in Ihrem Nvidia-Konto angemeldet sein, und das neueste Installationsprogramm wurde hier für Sie heruntergeladen:

https://pan.quark.cn/s/bc3ab3494596

Zuerst doppelklicken Sie auf cuda_12.6.1_560.94_windows.exe, um es zu installieren. Achten Sie darauf, dass Sie es nicht auf dem Laufwerk C installieren, da es zu viel Platz einnimmt; es wird empfohlen, ein 12.6-Verzeichnis auf einem anderen Laufwerksbuchstaben zu erstellen und es dann zu installieren.

Nach erfolgreicher Installation führen Sie den Befehl zur Überprüfung aus:

(base) PS C:\Users\zcxey> nvcc -V  
nvcc: NVIDIA (R) Cuda compiler driver  
Copyright (c) 2005-2024 NVIDIA Corporation  
Built on Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024  
Cuda compilation tools, release 12.6, V12.6.68  
Build cuda_12.6.r12.6/compiler.34714021_0  
(base) PS C:\Users\zcxey>

Sie können sehen, dass die angezeigte Version 12.6 ist.

Öffnen Sie dann das Verzeichnis cudnn-windows-x86_64-9.4.0.58_cuda12-archive und kopieren und überschreiben Sie die Verzeichnisse bin, include und lib direkt in das Installationsverzeichnis von cuda. Zu diesem Zeitpunkt sind cuda12.6 und das entsprechende cudnn9.4 installiert; beachten Sie, dass die Versionsnummern übereinstimmen müssen.

Installation von Tensorrt 10.4

Stellen Sie sich vor, Sie haben einen sehr intelligenten Hund (Ihr Deep-Learning-Modell) trainiert, der gelernt hat, verschiedene Bilder von Katzen und Hunden zu erkennen. Allerdings braucht der Hund jedes Mal sehr lange, um die Bilder zu erkennen, was nicht sehr effizient ist.

TensorRT ist wie ein Trainer, der Ihnen helfen wird, diesen Hund effizienter zu machen. Es wird den Hund so optimieren, dass er Bilder schneller und genauer erkennen kann und weniger Energie verbraucht. Mit einem für TensorRT optimierten Modell kann es also schneller auf Ihrem Computer oder Server rechnen (Bilder erkennen) und so Zeit und Ressourcen sparen.

Tensorrt konzentriert sich auf Modelle, die bereits trainiert wurden, anstatt das Modell selbst zu trainieren. Es ist wie ein professioneller Optimierer, der Ihre Modelle in realen Anwendungen schneller und mit weniger Aufwand laufen lässt.

Öffnen Sie das TensorRT-10.4.0.26 Verzeichnis und kopieren Sie alle dynamischen Bibliotheksdateien aus dem lib Verzeichnis in das bin Verzeichnis des cuda12.6 Installationsverzeichnisses:

Directory of D:\12.6\bin  
2024/09/27  11:08    <DIR>          .  
2024/09/27  10:48    <DIR>          ..  
2024/08/15  02:14           228,352 bin2c.exe  
2024/08/15  02:01                66 compute-sanitizer.bat  
2024/09/27  10:48    <DIR>          crt  
2024/08/15  02:11           202,752 cu++filt.exe  
2024/08/15  02:34       100,806,656 cublas64_12.dll  
2024/08/15  02:34       510,903,296 cublasLt64_12.dll  
2024/08/15  02:14         7,739,904 cudafe++.exe  
2024/08/15  02:11           556,544 cudart64_12.dll  
2023/11/30  16:26           288,296 cudnn64_8.dll  
2024/09/01  04:24           265,272 cudnn64_9.dll  
2024/09/01  04:24       243,945,512 cudnn_adv64_9.dll  
2023/11/30  16:26       125,217,320 cudnn_adv_infer64_8.dll  
2023/11/30  16:26       116,558,888 cudnn_adv_train64_8.dll  
2024/09/01  04:24         4,002,872 cudnn_cnn64_9.dll  
2023/11/30  16:26       582,690,344 cudnn_cnn_infer64_8.dll  
2023/11/30  16:26       122,242,104 cudnn_cnn_train64_8.dll  
2024/09/01  04:24       432,804,904 cudnn_engines_precompiled64_9.dll  
2024/09/01  04:24        16,297,000 cudnn_engines_runtime_compiled64_9.dll  
2024/09/01  04:25         2,063,400 cudnn_graph64_9.dll  
2024/09/01  04:25        44,681,784 cudnn_heuristic64_9.dll  
2024/09/01  04:25       107,492,904 cudnn_ops64_9.dll  
2023/11/30  16:26        89,759,272 cudnn_ops_infer64_8.dll  
2023/11/30  16:26        70,162,472 cudnn_ops_train64_8.dll  
2024/08/15  03:03       275,258,368 cufft64_11.dll  
2024/08/15  03:03           163,328 cufftw64_11.dll  
2024/08/15  02:45         1,513,984 cuinj64_126.dll  
2024/08/15  02:11        11,713,024 cuobjdump.exe  
2024/08/15  02:25        63,279,104 curand64_10.dll  
2024/08/15  04:12       116,768,256 cusolver64_11.dll  
2024/08/15  04:11        77,813,248 cusolverMg64_11.dll  
2024/08/15  03:09       287,497,216 cusparse64_12.dll  
2024/08/15  02:14           881,664 fatbinary.exe  
2024/08/15  03:20           292,352 nppc64_12.dll  
2024/08/15  03:20        16,235,008 nppial64_12.dll  
2024/08/15  03:20         6,234,624 nppicc64_12.dll  
2024/08/15  03:20         9,865,728 nppidei64_12.dll  
2024/08/15  03:20        96,892,416 nppif64_12.dll  
2024/08/15  03:20        39,228,416 nppig64_12.dll  
2024/08/15  03:20         9,341,952 nppim64_12.dll  
2024/08/15  03:20        36,831,232 nppist64_12.dll  
2024/08/15  03:20           265,728 nppisu64_12.dll  
2024/08/15  03:20         4,221,440 nppitc64_12.dll  
2024/08/15  03:20        12,687,872 npps64_12.dll  
2024/08/15  02:34           331,776 nvblas64_12.dll  
2024/08/15  02:14        14,029,824 nvcc.exe  
2024/08/15  02:14               343 nvcc.profile  
2024/08/15  02:11        50,708,480 nvdisasm.exe  
2024/08/15  02:14           838,656 nvfatbin_120_0.dll  
2024/08/30  19:47       215,426,088 nvinfer_10.dll  
2024/08/30  19:46             5,688 nvinfer_10.lib  
2024/08/30  19:48     1,436,593,704 nvinfer_builder_resource_10.dll  
2024/08/30  19:47           616,488 nvinfer_dispatch_10.dll  
2024/08/30  19:46             4,362 nvinfer_dispatch_10.lib  
2024/08/30  19:46        29,457,448 nvinfer_lean_10.dll  
2024/08/30  19:46             5,104 nvinfer_lean_10.lib  
2024/08/30  19:47        30,986,792 nvinfer_plugin_10.dll  
2024/08/30  19:46             2,564 nvinfer_plugin_10.lib  
2024/08/30  19:47           565,288 nvinfer_vc_plugin_10.dll  
2024/08/30  19:46             2,374 nvinfer_vc_plugin_10.lib  
2024/08/15  02:13        38,856,192 nvJitLink_120_0.dll  
2024/08/15  02:23         4,901,888 nvjpeg64_12.dll  
2024/08/15  02:14        20,608,000 nvlink.exe  
2024/08/30  19:47         3,064,872 nvonnxparser_10.dll  
2024/08/30  19:46             2,524 nvonnxparser_10.lib  
2024/08/15  02:45         2,210,304 nvprof.exe  
2024/08/15  02:11           254,464 nvprune.exe  
2024/08/15  02:11         5,345,792 nvrtc-builtins64_126.dll  
2024/08/15  02:11        45,535,744 nvrtc64_120_0.alt.dll  
2024/08/15  02:11        45,475,328 nvrtc64_120_0.dll  
2024/08/15  03:45               129 nvvp.bat  
2024/08/15  02:14        20,220,416 ptxas.exe  
2024/08/15  02:14            84,480 __nvcc_device_query.exe  
71 File(s)  5,612,029,986 bytes  
3 Dir(s)  128,267,644,928 bytes free

Damit ist die Installation von Tensorrt 10.4 abgeschlossen.

Installation und Bereitstellung von FaceFusion 3.0.0

Stellen Sie zunächst sicher, dass Sie eine lokale Installation von Python 3.11 haben, und klonen Sie dann das offizielle Projekt.

git clone https://github.com/facefusion/facefusion.git
cd facefusion

Installation der grundlegenden Abhängigkeiten.

pip3 install -r requirements.txt

Dann installieren Sie onnxruntime-gpu.

pip3 install onnxruntime-gpu

Die ONNX Runtime-GPU ist eine hochleistungsfähige Inferenz-Engine, die in der Lage ist, Modelle des maschinellen Lernens auszuführen, die im ONNX-Format (Open Neural Network Exchange) dargestellt sind. Der Schlüssel ist der "GPU"-Teil, was bedeutet, dass sie für NVIDIAs Grafikprozessoreinheit (GPU) optimiert ist, um Modelle schneller und effizienter als auf einer CPU auszuführen.

Beachten Sie, dass die standardmäßig installierte onnxruntime-gpu-Version 19.2 ist, die speziell für cuda12 angepasst ist.

Installieren Sie die tensorrt Bibliothek:

pip3 install tensorrt==10.4.0 --extra-index-url https://pypi.nvidia.com

Hier ist die Python 3.11-Laufzeitbibliothek für tensorrt.

Zum Schluss wird die Taschenlampe installiert.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Beachten Sie, dass das Suffix cu124 lautet, nicht cu118 oder cu121.

Nach erfolgreicher Installation wechseln Sie in das Python 3.11 Terminal:

>>> import onnxruntime as ort  
>>> print(ort.get_available_providers())  
['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

Wenn alle drei Backend-Unterstützungen gedruckt werden, cpu, cuda und Tensorrt, dann waren die Konfiguration und die Installation erfolgreich.

Befehl ausführen.

python3 facefusion.py run

Gehen Sie zum Hauptbildschirm des Gesichtstausches.

Dank Tensorrt unterstützt es auch Echtzeit-Gesichtstausch, gehen Sie zu der Kamera-Gesichtstausch-Schnittstelle:

python3 facefusion.py run --ui-layouts webcam

Kamera-Gesichtstausch-Effekt:

Schließlich ist zu beachten, dass FaceFusion 3.0.0 eine lokale Installation der ffmpeg-Software erfordert:

winget install -e --id Gyan.FFmpeg

Für Benutzer, die mit der Befehlszeile nicht vertraut sind, stellt FaceFusion ein Windows-Installationsprogramm zur Verfügung, mit dem der Installationsprozess schnell abgeschlossen werden kann.

Leitlinien für die Verwendung

grundlegende Bedienung

1. FaceFusion starten:

   python run.py
   

2. Quellbild auswählen: Laden Sie ein Bild hoch, das das zu ersetzende Gesicht enthält.
3. Zielbild oder -video auswählen: Laden Sie ein Bild oder Video des zu ersetzenden Gesichts hoch.
4. Anpassungsparameter: Passen Sie Parameter wie Gesichtserkennung, Austauschmodell, Verbesserungseinstellungen usw. nach Bedarf an.
5. Verarbeitung starten: Klicken Sie auf die Schaltfläche "Start" und warten Sie, bis die Verarbeitung abgeschlossen ist.

Erweiterte Funktionen

• Maskierende Behandlung:
  • . face_debugger Optionen.
  • Wählen Sie den entsprechenden Maskierungsmodus (Box, Okklusion, Region).
  • anpassen Face Mask Blur um den Okklusionseffekt zu optimieren.
• HD-Verarbeitung:
  • . face_enhancer Optionen.
  • Wählen Sie ein geeignetes Erweiterungsmodell wie GFPGAN1.4 oder codeformer.
  • anpassen Face Detector Size zur Verbesserung der Detailgenauigkeit.
• Lippensynchronisation:
  • . lip_syncer Optionen.
  • Audiodateien hochladen.
  • Wählen Sie das entsprechende Lippensynchronisationsmodell.

praktisches Können

• Optimierung der Leistung:
  • Wählen Sie die richtige Karte je nach Typ der Grafikkarte Execution Provider(NVIDIA verwendet CUDA, AMD verwendet DirectML).
  • anpassen Execution Thread Count um ein Gleichgewicht zwischen Verarbeitungsgeschwindigkeit und Speicherbedarf herzustellen.
• Mehrseitige Verarbeitung:
  • ausnutzen Face Selector Mode Wählen Sie aus, ob Sie einzelne oder mehrere Flächen verarbeiten möchten.
  • anpassen Reference Face Distance Parameter, um die Anpassungsgenauigkeit von Gesichtern mit mehreren Winkeln zu verbessern.
• Bearbeitung von Cartoon-Gesichtern:
  • ausnutzen simswap_256 Modell für die Ersetzung von Zeichentrickfiguren.
  • . face_enhancer Und konzentrieren Sie sich darauf, die Augen, die Nase und den Mundbereich zu betonen.

Häufig gestellte Fragen

• Unterstützt FaceFusion die Echtzeitverarbeitung? FaceFusion ist derzeit für die Offline-Verarbeitung optimiert, aber die Verarbeitungsgeschwindigkeit kann durch Anpassung der Parameter erhöht werden.
• Wie kann ich die Natürlichkeit der Ergebnisse meiner Gesichtstransplantation verbessern? Anpassungen können versucht werden Face Mask Blur und verwenden Sie ein hochwertiges Quellbild. Aktivieren Sie außerdem den Parameter face_enhancer Die Ergebnisse können noch verbessert werden.
• Unterstützt FaceFusion die Stapelverarbeitung? Ja, FaceFusion unterstützt die Stapelverarbeitung von Bildern und Videos. Dies kann über Kommandozeilenparameter oder die grafische Oberfläche eingestellt werden.

Lokaler Ein-Klick-Installateur / Online-Erfahrung

Dieser Inhalt wurde vom Autor versteckt, bitte geben Sie den Verifizierungscode ein, um den Inhalt zu sehen

Captcha:

Bitte achten Sie auf diese Website WeChat öffentliche Nummer, Antwort "CAPTCHA, eine Art von Challenge-Response-Test (Computertechnik)", um den Verifizierungscode zu erhalten. Suchen Sie in WeChat nach "Leiter des AI-Austauschkreises"oder"Looks-AI" oder WeChat Scannen der rechten Seite des QR-Codes kann die Aufmerksamkeit auf diese Website WeChat öffentliche Zahl zu zahlen.