FaceFusion: Video Face Swap Enhancement Tool | Voice Sync Video Mouth Moves

Últimos recursos sobre IAActualizado hace 7 meses Círculo de intercambio de inteligencia artificial

21.3K 00

Introducción general

FaceFusion es una plataforma en la nube de última generación que integra funciones de intercambio y mejora facial, optimizando el proceso de intercambio de imagen a vídeo e imagen a imagen con 5 modelos profesionales para garantizar un resultado impecable. Además, realiza mejoras faciales con 7 modelos, mejora la calidad del vídeo y la imagen con 3 modelos diferentes, y ofrece una gama de potentes funciones que incluyen sustitución de caras, mejora facial, sincronización de labios, etc.

El objetivo de FaceFusion es proporcionar a los usuarios una solución de reemplazo facial por IA fácil de usar, eficiente y rica en funciones. También admite la ejecución en línea y la detección facial multimodelo, etc. El proyecto de GitHub contiene instrucciones de instalación y uso, que requieren los conocimientos técnicos pertinentes.

FaceFusion se ha actualizado a la versión 3.0 con más optimizaciones, por lo que se recomienda actualizarlo, y al final del artículo encontrará una variedad de instaladores de FaceFusion de un solo clic. ¡Configuración de la computadora no se puede ejecutar, por favor, elija más excelente ejecución gratuita en línea! herramienta de intercambio de caras.

Tutorial de FaceFusion:La herramienta más potente para el intercambio de caras por IA: tutoriales detallados de uso de FaceFusion

Lista de funciones

Compatibilidad con varios modelos: proporciona varios modelos de intercambio y mejora de caras, como InSwapper_128, GFPGAN, etc.
Procesamiento de alta definición: admite el procesamiento de imágenes y vídeo de alta resolución para garantizar la claridad y calidad de los resultados de salida.
Procesamiento de oclusiones: mediante una avanzada tecnología de detección y procesamiento de oclusiones, resuelve eficazmente el problema del cambio de rostro en caso de oclusión parcial.
Compatibilidad multiplataforma: admite las principales plataformas gráficas, como NVIDIA y AMD.
Sincronización labial: proporciona sincronización labial de audio a vídeo.
Código abierto y gratuito: permite a los usuarios utilizarlo y personalizarlo libremente.

Utilizar la ayuda

Guía de instalación

Implantación local en Win11 FaceFusion3 intercambio de caras con IA más potente, aceleración de inferencia Tensorrt10.4 integrada

La instalación de FaceFusion requiere un cierto nivel de conocimientos técnicos. Los usuarios familiarizados con las operaciones de línea de comandos pueden seguir los pasos que se indican a continuación para realizar la instalación:

FaceFusion3.0.0 es en gran medida el proyecto de intercambio de rostros de IA más fuerte en este momento, compartiendo cómo implementar localmente el proyecto FaceFusion3.0.0 en el sistema Win11, basado en el último cuda12.6 con el último cudnn9.4, y con Tensorrt10.4, para mejorar la velocidad de inferencia y la eficiencia, para que las tarjetas gráficas de grado postre puedan explotar con productividad.

Instale la última versión de Cuda 12.6 y Cudnn 9.4.

CUDA es una tecnología desarrollada por NVIDIA que permite programar las GPU como si fueran CPU, lo que permite a las GPU participar en el cálculo y, por tanto, acelerar el proceso de cálculo. Se puede considerar como un "lenguaje" que permite a los programadores dirigir a los "trabajadores" de la GPU para que trabajen juntos.

cuDNN es una "caja de herramientas" diseñada específicamente para el aprendizaje profundo. El aprendizaje profundo es como construir una casa, que requiere un montón de "bloques", como convolución, pooling, etc. cuDNN proporciona estos "bloques" pre-optimizados, que los programadores pueden utilizar directamente sin tener que escribir estos complejos códigos desde cero, lo que mejora enormemente la velocidad de entrenamiento e inferencia de los modelos de aprendizaje profundo. Esto mejora enormemente la velocidad de entrenamiento e inferencia de los modelos de aprendizaje profundo. Es como un constructor experimentado que puede terminar de construir una casa de forma rápida y eficiente.

El instalador puede descargarse desde el sitio web oficial de Nvidia, pero debes iniciar sesión en tu cuenta de Nvidia, y aquí se ha descargado el último instalador para ti:

https://pan.quark.cn/s/bc3ab3494596

En primer lugar, haga doble clic en cuda_12.6.1_560.94_windows.exe para instalar, preste atención a no instalar en la unidad C, ya que ocupa demasiado espacio, se recomienda crear un directorio 12.6 en la otra letra de unidad, y luego instalarlo.

Después de la instalación con éxito, ejecute el comando para comprobar:

(base) PS C:\Users\zcxey> nvcc -V  
nvcc: NVIDIA (R) Cuda compiler driver  
Copyright (c) 2005-2024 NVIDIA Corporation  
Built on Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024  
Cuda compilation tools, release 12.6, V12.6.68  
Build cuda_12.6.r12.6/compiler.34714021_0  
(base) PS C:\Users\zcxey>

Puede ver que la versión mostrada es 12.6

A continuación, abra el directorio cudnn-windows-x86_64-9.4.0.58_cuda12-archive y copie y sobrescriba los directorios bin, include y lib directamente en el directorio de instalación de cuda. En este punto, cuda12.6 y su correspondiente cudnn9.4 están instalados, tenga en cuenta que los números de versión deben coincidir.

Instalación de Tensorrt 10.4

En cuanto a Tensorrt, imagine que ha entrenado a un perro muy inteligente (su modelo de aprendizaje profundo) que ha aprendido a reconocer varias imágenes de gatos y perros. Sin embargo, el perro tarda mucho tiempo en reconocer las imágenes cada vez, lo que no es muy eficiente.

TensorRT es como un entrenador que te ayudará a entrenar a este perro para que sea más eficiente. Optimizará al perro para que pueda reconocer imágenes con mayor rapidez y precisión, y consumir menos energía. Así, con un modelo optimizado TensorRT será capaz de razonar (reconocer imágenes) más rápido en tu ordenador o servidor, ahorrando tiempo y recursos.

Tensorrt se centra en modelos que ya han sido entrenados, en lugar de entrenar el propio modelo. Es como un optimizador profesional para que tus modelos funcionen más rápido y con menos esfuerzo en aplicaciones del mundo real.

Abra el directorio TensorRT-10.4.0.26 y copie todos los archivos dll de la biblioteca dinámica en el directorio lib al directorio bin del directorio de instalación de cuda12.6:

Directory of D:\12.6\bin  
2024/09/27  11:08    <DIR>          .  
2024/09/27  10:48    <DIR>          ..  
2024/08/15  02:14           228,352 bin2c.exe  
2024/08/15  02:01                66 compute-sanitizer.bat  
2024/09/27  10:48    <DIR>          crt  
2024/08/15  02:11           202,752 cu++filt.exe  
2024/08/15  02:34       100,806,656 cublas64_12.dll  
2024/08/15  02:34       510,903,296 cublasLt64_12.dll  
2024/08/15  02:14         7,739,904 cudafe++.exe  
2024/08/15  02:11           556,544 cudart64_12.dll  
2023/11/30  16:26           288,296 cudnn64_8.dll  
2024/09/01  04:24           265,272 cudnn64_9.dll  
2024/09/01  04:24       243,945,512 cudnn_adv64_9.dll  
2023/11/30  16:26       125,217,320 cudnn_adv_infer64_8.dll  
2023/11/30  16:26       116,558,888 cudnn_adv_train64_8.dll  
2024/09/01  04:24         4,002,872 cudnn_cnn64_9.dll  
2023/11/30  16:26       582,690,344 cudnn_cnn_infer64_8.dll  
2023/11/30  16:26       122,242,104 cudnn_cnn_train64_8.dll  
2024/09/01  04:24       432,804,904 cudnn_engines_precompiled64_9.dll  
2024/09/01  04:24        16,297,000 cudnn_engines_runtime_compiled64_9.dll  
2024/09/01  04:25         2,063,400 cudnn_graph64_9.dll  
2024/09/01  04:25        44,681,784 cudnn_heuristic64_9.dll  
2024/09/01  04:25       107,492,904 cudnn_ops64_9.dll  
2023/11/30  16:26        89,759,272 cudnn_ops_infer64_8.dll  
2023/11/30  16:26        70,162,472 cudnn_ops_train64_8.dll  
2024/08/15  03:03       275,258,368 cufft64_11.dll  
2024/08/15  03:03           163,328 cufftw64_11.dll  
2024/08/15  02:45         1,513,984 cuinj64_126.dll  
2024/08/15  02:11        11,713,024 cuobjdump.exe  
2024/08/15  02:25        63,279,104 curand64_10.dll  
2024/08/15  04:12       116,768,256 cusolver64_11.dll  
2024/08/15  04:11        77,813,248 cusolverMg64_11.dll  
2024/08/15  03:09       287,497,216 cusparse64_12.dll  
2024/08/15  02:14           881,664 fatbinary.exe  
2024/08/15  03:20           292,352 nppc64_12.dll  
2024/08/15  03:20        16,235,008 nppial64_12.dll  
2024/08/15  03:20         6,234,624 nppicc64_12.dll  
2024/08/15  03:20         9,865,728 nppidei64_12.dll  
2024/08/15  03:20        96,892,416 nppif64_12.dll  
2024/08/15  03:20        39,228,416 nppig64_12.dll  
2024/08/15  03:20         9,341,952 nppim64_12.dll  
2024/08/15  03:20        36,831,232 nppist64_12.dll  
2024/08/15  03:20           265,728 nppisu64_12.dll  
2024/08/15  03:20         4,221,440 nppitc64_12.dll  
2024/08/15  03:20        12,687,872 npps64_12.dll  
2024/08/15  02:34           331,776 nvblas64_12.dll  
2024/08/15  02:14        14,029,824 nvcc.exe  
2024/08/15  02:14               343 nvcc.profile  
2024/08/15  02:11        50,708,480 nvdisasm.exe  
2024/08/15  02:14           838,656 nvfatbin_120_0.dll  
2024/08/30  19:47       215,426,088 nvinfer_10.dll  
2024/08/30  19:46             5,688 nvinfer_10.lib  
2024/08/30  19:48     1,436,593,704 nvinfer_builder_resource_10.dll  
2024/08/30  19:47           616,488 nvinfer_dispatch_10.dll  
2024/08/30  19:46             4,362 nvinfer_dispatch_10.lib  
2024/08/30  19:46        29,457,448 nvinfer_lean_10.dll  
2024/08/30  19:46             5,104 nvinfer_lean_10.lib  
2024/08/30  19:47        30,986,792 nvinfer_plugin_10.dll  
2024/08/30  19:46             2,564 nvinfer_plugin_10.lib  
2024/08/30  19:47           565,288 nvinfer_vc_plugin_10.dll  
2024/08/30  19:46             2,374 nvinfer_vc_plugin_10.lib  
2024/08/15  02:13        38,856,192 nvJitLink_120_0.dll  
2024/08/15  02:23         4,901,888 nvjpeg64_12.dll  
2024/08/15  02:14        20,608,000 nvlink.exe  
2024/08/30  19:47         3,064,872 nvonnxparser_10.dll  
2024/08/30  19:46             2,524 nvonnxparser_10.lib  
2024/08/15  02:45         2,210,304 nvprof.exe  
2024/08/15  02:11           254,464 nvprune.exe  
2024/08/15  02:11         5,345,792 nvrtc-builtins64_126.dll  
2024/08/15  02:11        45,535,744 nvrtc64_120_0.alt.dll  
2024/08/15  02:11        45,475,328 nvrtc64_120_0.dll  
2024/08/15  03:45               129 nvvp.bat  
2024/08/15  02:14        20,220,416 ptxas.exe  
2024/08/15  02:14            84,480 __nvcc_device_query.exe  
71 File(s)  5,612,029,986 bytes  
3 Dir(s)  128,267,644,928 bytes free

Esto completa la instalación de Tensorrt 10.4.

Instalación y despliegue de FaceFusion 3.0.0

Primero, asegúrate de que tienes una instalación local de Python 3.11, y luego clona el proyecto oficial.

git clone https://github.com/facefusion/facefusion.git
cd facefusion

Instalación de dependencias básicas.

pip3 install -r requirements.txt

A continuación, instale onnxruntime-gpu.

pip3 install onnxruntime-gpu

ONNX Runtime-GPU es un motor de inferencia de alto rendimiento capaz de ejecutar modelos de aprendizaje automático representados en el formato ONNX (Open Neural Network Exchange). La clave está en la parte "GPU", que significa que está optimizado para la Unidad de Procesamiento Gráfico (GPU) de NVIDIA con el fin de ejecutar los modelos con mayor rapidez y eficiencia que en una CPU.

Tenga en cuenta que la versión instalada por defecto de onnxruntime-gpu es la 19.2, que está adaptada específicamente para cuda12.

Instale la biblioteca tensorrt:

pip3 install tensorrt==10.4.0 --extra-index-url https://pypi.nvidia.com

Aquí está la biblioteca en tiempo de ejecución de python 3.11 para tensorrt.

Por último, instale el soplete.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Tenga en cuenta que el sufijo es cu124, no cu118 o cu121

Después de la instalación con éxito, vaya a la terminal de python 3.11:

>>> import onnxruntime as ort  
>>> print(ort.get_available_providers())  
['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

Si se imprimen los tres soportes de backend, cpu, cuda y Tensorrt, entonces la configuración e instalación fueron exitosas.

Ejecutar comando.

python3 facefusion.py run

Ir a la interfaz principal del intercambio de caras.

Gracias a Tensorrt, también admite el intercambio de caras en tiempo real, ve a la interfaz de intercambio de caras de la cámara:

python3 facefusion.py run --ui-layouts webcam

Efecto de cambio de cara de la cámara:

Por último, tenga en cuenta que FaceFusion 3.0.0 requiere una instalación local del software ffmpeg:

winget install -e --id Gyan.FFmpeg

Para los usuarios que no estén familiarizados con la línea de comandos, FaceFusion proporciona un instalador de Windows para completar rápidamente el proceso de instalación.

Normas de uso

funcionamiento básico

Inicie FaceFusion:
```
python run.py
```
Seleccione Imagen de Origen: Cargue una imagen que contenga la cara que desea reemplazar.
Seleccione la imagen o el vídeo de destino: cargue una imagen o un vídeo de la cara que desea sustituir.
Parámetros de ajuste: Ajuste parámetros como la detección de rostros, el modelo de intercambio, los ajustes de mejora, etc., según sea necesario.
Iniciar tratamiento: Pulse el botón "Iniciar" y espere a que finalice el tratamiento.

Funciones avanzadas

Tratamiento de enmascaramiento:
- comisión face_debugger Opciones.
- Seleccione el modo de enmascaramiento adecuado (cuadro, oclusión, región).
- adaptar Face Mask Blur para optimizar el efecto de oclusión.
Procesamiento HD:
- comisión face_enhancer Opciones.
- Elija un modelo de mejora adecuado, como GFPGAN1.4 o codeformer.
- adaptar Face Detector Size para mejorar las habilidades de detallado.
Sincronización labial:
- comisión lip_syncer Opciones.
- Sube el archivo de audio.
- Seleccione el modelo de sincronización labial adecuado.

habilidad práctica

Optimización del rendimiento:
- Elige el adecuado según el tipo de tarjeta gráfica Execution Provider(NVIDIA utiliza CUDA, AMD utiliza DirectML).
- adaptar Execution Thread Count para equilibrar la velocidad de procesamiento y el uso de memoria.
Tratamiento de múltiples caras:
- utilizar Face Selector Mode Seleccione esta opción para procesar una o varias caras.
- adaptar Reference Face Distance para mejorar la precisión de coincidencia de las caras multiángulo.
Tratamiento de caras de dibujos animados:
- utilizar simswap_256 modelo de sustitución de caras de dibujos animados.
- comisión face_enhancer Y céntrate en realzar la zona de los ojos, la nariz y la boca.

Preguntas frecuentes

¿Es FaceFusion compatible con el procesamiento en tiempo real? FaceFusion está optimizado actualmente para el procesamiento fuera de línea, pero la velocidad de procesamiento puede aumentarse ajustando los parámetros.
¿Cómo puedo mejorar la naturalidad de los resultados de mi trasplante de cara? Se pueden intentar ajustes Face Mask Blur y utilice una imagen de origen de alta calidad. Además, active el parámetro face_enhancer Los resultados pueden mejorarse aún más.
¿Admite FaceFusion el procesamiento por lotes? Sí, FaceFusion admite el procesamiento por lotes de imágenes y vídeos. Esto puede configurarse mediante parámetros de línea de comandos o la interfaz gráfica.