FaceFusion: 비디오 얼굴 스왑 향상 도구 | 음성 동기화 비디오 입 움직임

일반 소개

FaceFusion은 얼굴 교환 및 향상 기능을 통합한 최첨단 클라우드 플랫폼으로, 5가지 전문 모델로 이미지와 비디오 및 이미지와 이미지 교환 프로세스를 최적화하여 완벽한 결과물을 보장합니다. 또한 7가지 모델로 얼굴 보정을 수행하고, 3가지 모델로 비디오 및 이미지 품질을 개선하며, 얼굴 교체, 얼굴 향상, 입술 동기화 등 다양하고 강력한 기능을 제공합니다.

FaceFusion의 목표는 사용자에게 사용하기 쉽고 효율적이며 풍부한 기능을 갖춘 AI 얼굴 대체 솔루션을 제공하는 것입니다. 또한 온라인 실행 및 다중 모델 얼굴 인식 등을 지원합니다. GitHub 프로젝트에는 관련 기술 지식이 필요한 설치 및 사용 지침이 포함되어 있습니다.

FaceFusion은 더 많은 최적화를 통해 3.0으로 업데이트되었으므로 업데이트하는 것이 좋으며, 이 글의 마지막 부분에서 다양한 FaceFusion 원클릭 설치 프로그램을 사용할 수 있습니다. 컴퓨터 구성이 실행되지 않는 경우, 더 우수한 무료 온라인 실행을 선택하세요! 얼굴 바꾸기 도구.

FaceFusion 튜토리얼:AI 얼굴 스왑을 위한 가장 강력한 도구: FaceFusion 상세 사용 튜토리얼

 

 

기능 목록

• 다중 모델 지원: InSwapper_128, GFPGAN 등 다양한 얼굴 스와핑 및 향상 모델을 제공합니다.
• 고화질 처리: 고해상도 이미지 및 동영상 처리를 지원하여 출력 결과의 선명도와 품질을 보장합니다.
• 오클루전 처리: 고급 오클루전 감지 및 처리 기술을 통해 부분 오클루전의 경우 얼굴이 바뀌는 문제를 효과적으로 해결합니다.
• 멀티 플랫폼 호환성: NVIDIA 및 AMD와 같은 메인스트림 그래픽 플랫폼을 지원합니다.
• 립싱크: 오디오에서 비디오로 립싱크 기능을 제공합니다.
• 오픈 소스 및 무료: 사용자가 자유롭게 사용하고 커스터마이징할 수 있습니다.

 

도움말 사용

설치 가이드

Win11 로컬 배포 FaceFusion3 가장 강력한 AI 페이스 스왑, 통합 Tensorrt10.4 추론 가속화

FaceFusion을 설치하려면 일정 수준의 기술 지식이 필요합니다. 명령줄 조작에 익숙한 사용자의 경우 아래 단계에 따라 설치할 수 있습니다:

FaceFusion3.0.0은 현재 가장 강력한 AI 얼굴 스와핑 프로젝트로, 최신 cuda12.6을 기반으로 최신 cudnn9.4 및 Tensorrt10.4를 사용하여 Win11 시스템에 로컬로 배포하는 방법을 공유하여 추론 속도와 효율성을 개선하여 디저트급 그래픽 카드의 폭발적인 생산성.

최신 버전의 Cuda 12.6 및 Cudnn 9.4를 설치합니다.

CUDA는 NVIDIA에서 개발한 기술로, GPU를 CPU처럼 프로그래밍하여 GPU가 연산에 참여하여 연산 프로세스를 가속화할 수 있도록 합니다. 프로그래머가 GPU '작업자'에게 함께 작업하도록 지시할 수 있는 '언어'라고 생각하면 됩니다.

cuDNN은 딥 러닝을 위해 특별히 설계된 '도구 상자'입니다. 딥러닝은 집을 짓는 것과 같아서 컨볼루션, 풀링 등과 같은 많은 '블록'이 필요합니다. cuDNN은 프로그래머가 이러한 복잡한 코드를 처음부터 작성할 필요 없이 바로 사용할 수 있도록 미리 최적화된 '블록'을 제공하므로 딥러닝 모델의 훈련 및 추론 속도가 크게 향상됩니다. 이를 통해 딥 러닝 모델의 학습 및 추론 속도가 크게 향상됩니다. 마치 숙련된 건축업자가 집을 빠르고 효율적으로 완성하는 것과 같습니다.

설치 프로그램은 공식 Nvidia 웹사이트에서 다운로드할 수 있지만 Nvidia 계정에 로그인해야 하며, 최신 설치 프로그램은 여기에서 다운로드할 수 있습니다:

https://pan.quark.cn/s/bc3ab3494596

먼저 cuda_12.6.1_560.94_windows.exe를 두 번 클릭하여 설치하고 C 드라이브에 설치하지 않도록주의하십시오. 너무 많은 공간을 차지하므로 다른 디스크에 12.6 디렉토리를 만든 다음 설치하는 것이 좋습니다.

설치가 완료되면 명령을 실행하여 확인합니다:

(base) PS C:\Users\zcxey> nvcc -V  
nvcc: NVIDIA (R) Cuda compiler driver  
Copyright (c) 2005-2024 NVIDIA Corporation  
Built on Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024  
Cuda compilation tools, release 12.6, V12.6.68  
Build cuda_12.6.r12.6/compiler.34714021_0  
(base) PS C:\Users\zcxey>

표시되는 버전이 12.6인 것을 확인할 수 있습니다.

그런 다음 cudnn-windows-x86_64-9.4.0.58_cuda12-archive 디렉터리를 열고 bin, include 및 lib 디렉터리를 복사하여 cuda 설치 디렉터리에 직접 덮어씁니다. 이 시점에서 cuda12.6과 그에 대응하는 cudnn9.4가 설치되며, 버전 번호가 일치해야 한다는 점에 유의하세요.

Tensorrt 10.4 설치하기

텐서트라와 관련하여 매우 똑똑한 개(딥러닝 모델)를 훈련시켜 다양한 고양이와 개 사진을 인식하는 방법을 배웠다고 가정해 보겠습니다. 하지만 개가 매번 사진을 인식하는 데 시간이 오래 걸리므로 효율적이지 않습니다.

TensorRT는 개를 더 효율적으로 훈련할 수 있도록 도와주는 트레이너와 같습니다. 개가 이미지를 더 빠르고 정확하게 인식하고 더 적은 에너지를 사용할 수 있도록 개를 최적화합니다. 따라서 TensorRT에 최적화된 모델을 사용하면 컴퓨터나 서버에서 더 빠르게 추론(사진 인식)할 수 있으므로 시간과 리소스를 절약할 수 있습니다.

텐서트는 모델 자체를 학습시키는 것이 아니라 이미 학습된 모델에 초점을 맞춥니다. 마치 전문 옵티마이저처럼 실제 애플리케이션에서 더 적은 노력으로 더 빠르게 모델을 실행할 수 있도록 도와줍니다.

TensorRT-10.4.0.26 디렉터리를 열고 lib 디렉터리에 있는 모든 동적 라이브러리 dll 파일을 cuda12.6 설치 디렉터리의 bin 디렉터리에 복사합니다:

Directory of D:\12.6\bin  
2024/09/27  11:08    <DIR>          .  
2024/09/27  10:48    <DIR>          ..  
2024/08/15  02:14           228,352 bin2c.exe  
2024/08/15  02:01                66 compute-sanitizer.bat  
2024/09/27  10:48    <DIR>          crt  
2024/08/15  02:11           202,752 cu++filt.exe  
2024/08/15  02:34       100,806,656 cublas64_12.dll  
2024/08/15  02:34       510,903,296 cublasLt64_12.dll  
2024/08/15  02:14         7,739,904 cudafe++.exe  
2024/08/15  02:11           556,544 cudart64_12.dll  
2023/11/30  16:26           288,296 cudnn64_8.dll  
2024/09/01  04:24           265,272 cudnn64_9.dll  
2024/09/01  04:24       243,945,512 cudnn_adv64_9.dll  
2023/11/30  16:26       125,217,320 cudnn_adv_infer64_8.dll  
2023/11/30  16:26       116,558,888 cudnn_adv_train64_8.dll  
2024/09/01  04:24         4,002,872 cudnn_cnn64_9.dll  
2023/11/30  16:26       582,690,344 cudnn_cnn_infer64_8.dll  
2023/11/30  16:26       122,242,104 cudnn_cnn_train64_8.dll  
2024/09/01  04:24       432,804,904 cudnn_engines_precompiled64_9.dll  
2024/09/01  04:24        16,297,000 cudnn_engines_runtime_compiled64_9.dll  
2024/09/01  04:25         2,063,400 cudnn_graph64_9.dll  
2024/09/01  04:25        44,681,784 cudnn_heuristic64_9.dll  
2024/09/01  04:25       107,492,904 cudnn_ops64_9.dll  
2023/11/30  16:26        89,759,272 cudnn_ops_infer64_8.dll  
2023/11/30  16:26        70,162,472 cudnn_ops_train64_8.dll  
2024/08/15  03:03       275,258,368 cufft64_11.dll  
2024/08/15  03:03           163,328 cufftw64_11.dll  
2024/08/15  02:45         1,513,984 cuinj64_126.dll  
2024/08/15  02:11        11,713,024 cuobjdump.exe  
2024/08/15  02:25        63,279,104 curand64_10.dll  
2024/08/15  04:12       116,768,256 cusolver64_11.dll  
2024/08/15  04:11        77,813,248 cusolverMg64_11.dll  
2024/08/15  03:09       287,497,216 cusparse64_12.dll  
2024/08/15  02:14           881,664 fatbinary.exe  
2024/08/15  03:20           292,352 nppc64_12.dll  
2024/08/15  03:20        16,235,008 nppial64_12.dll  
2024/08/15  03:20         6,234,624 nppicc64_12.dll  
2024/08/15  03:20         9,865,728 nppidei64_12.dll  
2024/08/15  03:20        96,892,416 nppif64_12.dll  
2024/08/15  03:20        39,228,416 nppig64_12.dll  
2024/08/15  03:20         9,341,952 nppim64_12.dll  
2024/08/15  03:20        36,831,232 nppist64_12.dll  
2024/08/15  03:20           265,728 nppisu64_12.dll  
2024/08/15  03:20         4,221,440 nppitc64_12.dll  
2024/08/15  03:20        12,687,872 npps64_12.dll  
2024/08/15  02:34           331,776 nvblas64_12.dll  
2024/08/15  02:14        14,029,824 nvcc.exe  
2024/08/15  02:14               343 nvcc.profile  
2024/08/15  02:11        50,708,480 nvdisasm.exe  
2024/08/15  02:14           838,656 nvfatbin_120_0.dll  
2024/08/30  19:47       215,426,088 nvinfer_10.dll  
2024/08/30  19:46             5,688 nvinfer_10.lib  
2024/08/30  19:48     1,436,593,704 nvinfer_builder_resource_10.dll  
2024/08/30  19:47           616,488 nvinfer_dispatch_10.dll  
2024/08/30  19:46             4,362 nvinfer_dispatch_10.lib  
2024/08/30  19:46        29,457,448 nvinfer_lean_10.dll  
2024/08/30  19:46             5,104 nvinfer_lean_10.lib  
2024/08/30  19:47        30,986,792 nvinfer_plugin_10.dll  
2024/08/30  19:46             2,564 nvinfer_plugin_10.lib  
2024/08/30  19:47           565,288 nvinfer_vc_plugin_10.dll  
2024/08/30  19:46             2,374 nvinfer_vc_plugin_10.lib  
2024/08/15  02:13        38,856,192 nvJitLink_120_0.dll  
2024/08/15  02:23         4,901,888 nvjpeg64_12.dll  
2024/08/15  02:14        20,608,000 nvlink.exe  
2024/08/30  19:47         3,064,872 nvonnxparser_10.dll  
2024/08/30  19:46             2,524 nvonnxparser_10.lib  
2024/08/15  02:45         2,210,304 nvprof.exe  
2024/08/15  02:11           254,464 nvprune.exe  
2024/08/15  02:11         5,345,792 nvrtc-builtins64_126.dll  
2024/08/15  02:11        45,535,744 nvrtc64_120_0.alt.dll  
2024/08/15  02:11        45,475,328 nvrtc64_120_0.dll  
2024/08/15  03:45               129 nvvp.bat  
2024/08/15  02:14        20,220,416 ptxas.exe  
2024/08/15  02:14            84,480 __nvcc_device_query.exe  
71 File(s)  5,612,029,986 bytes  
3 Dir(s)  128,267,644,928 bytes free

이것으로 Tensorrt 10.4 설치가 완료되었습니다.

FaceFusion 3.0.0 설치 및 배포

먼저 파이썬 3.11이 로컬에 설치되어 있는지 확인한 다음 공식 프로젝트를 복제합니다.

git clone https://github.com/facefusion/facefusion.git
cd facefusion

기본 종속성 설치.

pip3 install -r requirements.txt

그런 다음 onnxruntime-gpu를 설치합니다.

pip3 install onnxruntime-gpu

ONNX Runtime-GPU는 ONNX(Open Neural Network Exchange) 형식으로 표현된 머신 러닝 모델을 실행할 수 있는 고성능 추론 엔진입니다. 핵심은 'GPU' 부분으로, NVIDIA의 그래픽 프로세서 장치(GPU)에 최적화되어 CPU보다 더 빠르고 효율적으로 모델을 실행할 수 있다는 것을 의미합니다.

기본으로 설치되는 onnxruntime-gpu 버전은 19.2이며, 이는 cuda12에 맞게 특별히 조정된 버전입니다.

텐서 라이브러리를 설치합니다:

pip3 install tensorrt==10.4.0 --extra-index-url https://pypi.nvidia.com

다음은 텐서트를 위한 파이썬 3.11 런타임 라이브러리입니다.

마지막으로 토치를 설치합니다.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

접미사는 cu118 또는 cu121이 아닌 cu124입니다.

설치가 완료되면 파이썬 3.11 터미널로 이동합니다:

>>> import onnxruntime as ort  
>>> print(ort.get_available_providers())  
['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

세 가지 백엔드 지원(cpu, cuda, Tensorrt)이 모두 인쇄되면 구성 및 설치가 성공한 것입니다.

실행 명령을 실행합니다.

python3 facefusion.py run

페이스 스왑의 기본 인터페이스로 이동합니다.

텐서트 덕분에 실시간 얼굴 교체도 지원하므로 카메라 얼굴 교체 인터페이스로 이동하세요:

python3 facefusion.py run --ui-layouts webcam

카메라 얼굴 교체 효과:

마지막으로, FaceFusion 3.0.0을 사용하려면 ffmpeg 소프트웨어를 로컬에 설치해야 합니다:

winget install -e --id Gyan.FFmpeg

 

명령줄에 익숙하지 않은 사용자를 위해 FaceFusion은 설치 프로세스를 빠르게 완료할 수 있는 Windows 설치 관리자를 제공합니다.

사용 가이드라인

기본 조작

1. FaceFusion을 시작합니다:

   python run.py
   

2. 소스 이미지 선택: 바꾸려는 얼굴이 포함된 이미지를 업로드합니다.
3. 대상 이미지 또는 동영상 선택: 교체할 얼굴의 이미지 또는 동영상을 업로드합니다.
4. 조정 매개변수: 필요에 따라 얼굴 인식, 교환 모델, 보정 설정 등의 매개변수를 조정합니다.
5. 처리 시작: '시작' 버튼을 클릭하고 처리가 완료될 때까지 기다립니다.

고급 기능

• 마스킹 처리:
  • 사용 시작 face_debugger 옵션.
  • 적절한 마스킹 모드(박스, 오클루전, 영역)를 선택합니다.
  • 적응 Face Mask Blur 파라미터를 사용하여 오클루전 효과를 최적화할 수 있습니다.
• HD 처리:
  • 사용 시작 face_enhancer 옵션.
  • GFPGAN1.4 또는 코드포머와 같은 적합한 개선 모델을 선택하세요.
  • 적응 Face Detector Size 를 사용하여 디테일링 기술을 향상시킬 수 있습니다.
• 립싱크 동기화:
  • 사용 시작 lip_syncer 옵션.
  • 오디오 파일을 업로드합니다.
  • 적절한 립싱크 모델을 선택합니다.

실용적인 기술

• 성능 최적화:
  • 그래픽 카드 유형에 따라 적합한 것을 선택하세요. Execution Provider(NVIDIA는 CUDA, AMD는 DirectML 사용).
  • 적응 Execution Thread Count 를 사용하여 처리 속도와 메모리 사용량의 균형을 맞출 수 있습니다.
• 멀티페이스 처리:
  • 활용 Face Selector Mode 단일 또는 여러 개의 얼굴을 처리하려면 선택합니다.
  • 적응 Reference Face Distance 매개변수를 사용하여 다중 각도 얼굴의 매칭 정확도를 향상시킬 수 있습니다.
• 카툰 얼굴 처리:
  • 활용 simswap_256 만화 얼굴 교체용 모델입니다.
  • 사용 시작 face_enhancer 그리고 눈, 코, 입 부분을 개선하는 데 집중하세요.

자주 묻는 질문

• FaceFusion은 실시간 처리를 지원하나요? FaceFusion은 현재 오프라인 처리에 최적화되어 있지만 매개변수를 조정하여 처리 속도를 높일 수 있습니다.
• 얼굴 이식 결과의 자연스러움을 개선하려면 어떻게 해야 하나요? 조정을 시도할 수 있습니다. Face Mask Blur 매개변수를 설정하고 고품질 소스 이미지를 사용합니다. 또한 face_enhancer 결과는 더 개선될 수 있습니다.
• FaceFusion은 일괄 처리를 지원하나요? 예, FaceFusion은 이미지와 동영상의 일괄 처리를 지원합니다. 이는 명령줄 매개변수 또는 그래픽 인터페이스를 통해 설정할 수 있습니다.

 

로컬 원클릭 설치 프로그램 / 온라인 환경

로컬: 유니버설 준 원클릭 인스톨러(통합 멀티 도구)

로컬: 소드 72 인스톨러(순수) 압축 해제 비밀번호는 jian27 또는 jian27.com입니다.

현지: 투시 랩스 Baidu쿼크(입자 물리학)

 

런디퓨전(클라우드 기반 서비스, GPU 사양 및 분 단위로 청구)

ThinkDiffusion(클라우드 서비스, GPU 사양 및 분 단위로 청구)

Pinokio(로컬 원클릭 배포)

 

FaceFusion 디스코드 채널

온라인에서 실행되는 Google 콜랩

FaceFusion 도움말 문서

오픈 소스 주소