FaceFusion：ビデオ顔交換強化ツール｜音声同期ビデオ口の動き

はじめに

FaceFusionはフェイシャルエクスチェンジとエンハンスメント機能を統合した最先端のクラウドプラットフォームで、5つのプロフェッショナルモデルで画像からビデオ、画像から画像へのエクスチェンジプロセスを最適化し、完璧な出力を保証します。さらに、7つのモデルでフェイシャルエンハンスメントを実行し、3つの異なるモデルでビデオと画像の品質を向上させ、顔の置き換え、顔のエンハンスメント、リップシンクロなどの強力な機能を提供します。

FaceFusionの目標は、使いやすく、効率的で機能豊富なAI顔置き換えソリューションをユーザーに提供することです。GitHubプロジェクトでは、インストール方法と使用方法を説明しています。

FaceFusionは3.0にアップデートされ、より最適化されました。コンピュータの構成が実行できない場合は、より優れた無料のオンライン実行を選択してください！ 顔交換ツール.

FaceFusionチュートリアル：AI顔交換のための最も強力なツール：FaceFusionの詳細な使用方法のチュートリアル

機能一覧

• マルチモデルのサポート：InSwapper_128、GFPGANなど、複数のフェイススワップおよびエンハンスメントモデルを提供します。
• 高解像度処理：高解像度の画像とビデオ処理をサポートし、出力結果の鮮明さと品質を保証します。
• オクルージョン処理：高度なオクルージョン検出と処理技術により、部分的なオクルージョン下で顔が変化する問題を効果的に解決します。
• マルチプラットフォーム互換性：NVIDIAやAMDなどのメインストリームグラフィックスプラットフォームをサポート。
• リップシンク：オーディオからビデオへのリップシンクを提供します。
• オープンソースで無料：ユーザーが自由に使用し、カスタマイズできる。

ヘルプの使用

インストレーション・ガイド

Win11ローカル展開 FaceFusion3 最強のAI顔交換、統合されたTensorrt10.4推論アクセラレーション

FaceFusionのインストールには、ある程度の専門知識が必要です。コマンドラインでの操作に慣れているユーザーであれば、以下の手順に従ってインストールすることができます：

FaceFusion3.0.0は現在最強のAI顔交換プロジェクトであり、最新のcuda12.6とcudnn9.4、そしてTensorrt10.4をベースに、Win11システムでFaceFusion3.0.0プロジェクトをローカルに展開する方法を共有する。生産性を向上させます。

最新バージョンのCuda 12.6とCudnn 9.4をインストールする。

CUDAはエヌビディアが開発した技術で、GPUをCPUのようにプログラムできるようにし、GPUが計算に参加することで、計算プロセスを加速させる。プログラマーがGPUの "ワーカー "に共同作業を指示するための "言語 "と考えることができます。

cuDNNは、ディープラーニングのために特別に設計された「ツールボックス」である。ディープラーニングは家を建てるようなもので、畳み込みやプーリングなど、多くの「ブロック」を必要とする。cuDNNは、これらの最適化済みの「ブロック」を提供し、プログラマーはこれらの複雑なコードをゼロから書くことなく直接使用できるため、ディープラーニングモデルの学習と推論の速度が大幅に向上する。これにより、ディープラーニングモデルの学習と推論のスピードが大幅に向上する。 それはまるで、経験豊富な建設業者が素早く効率的に家を建て終えるようなものだ。

インストーラーはNvidiaの公式ウェブサイトからダウンロードできるが、Nvidiaのアカウントにログインしている必要があり、最新のインストーラーはここにダウンロードされている：

https://pan.quark.cn/s/bc3ab3494596

まず、cuda_12.6.1_560.94_windows.exeをダブルクリックしてインストールする。Cドライブにインストールするのはスペースを取りすぎるので注意し、他のディスクに12.6ディレクトリを作成してからインストールすることをお勧めする。

インストールに成功したら、コマンドを実行して確認する：

(base) PS C:¥Userszcxey> nvcc -V
nvcc: NVIDIA (R) Cuda コンパイラドライバ
著作権 (c) 2005-2024 NVIDIA Corporation
ビルド日時: Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024
Cudaコンパイルツール、リリース12.6、V12.6.68
Build cuda_12.6.r12.6/compiler.34714021_0
(base) PS C:♪Userszcxey

表示されるバージョンは12.6であることがわかる。

次に、cudnn-windows-x86_64-9.4.0.58_cuda12-archiveディレクトリを開き、bin、include、libディレクトリを直接cudaインストール・ディレクトリにコピーして上書きします。この時点で、cuda12.6とそれに対応するcudnn9.4がインストールされます。

Tensorrt 10.4のインストール

Tensorrtに関して、非常に賢い犬（ディープラーニングモデル）を訓練し、その犬が様々な猫や犬の写真を認識するようになったとする。しかし、犬は毎回写真を認識するのに時間がかかり、効率が悪い。

TensorRTは、この犬をより効率的に訓練するためのトレーナーのようなものだ。TensorRTは、より速く、より正確に画像を認識し、より少ないエネルギーで動作するように、犬を最適化する。 そのため、TensorRTで最適化されたモデルを使えば、コンピュータやサーバー上でより速く推論（画像を認識）できるようになり、時間とリソースを節約できる。

Tensorrtは、モデル自体をトレーニングするのではなく、すでにトレーニングされたモデルに焦点を当てます。 Tensorrtは、実世界のアプリケーションにおいて、モデルをより速く、より少ない労力で実行させるための、プロのオプティマイザーのようなものです。

TensorRT-10.4.0.26ディレクトリを開き、libディレクトリ内のすべてのダイナミック・ライブラリdllファイルをcuda12.6インストール・ディレクトリのbinディレクトリにコピーします：

D:◆のディレクトリ
2024/09/27 11:08  .
2024/09/27 10:48  ...
2024/08/15 02:14 228,352 bin2c.exe
2024/08/15 02:01 66 compute-sanitizer.bat
2024/09/27 10:48  crt
2024/08/15 02:11 202,752 cu++filt.exe
2024/08/15 02:34 100,806,656 cublas64_12.dll
2024/08/15 02:34 510,903,296 cublasLt64_12.dll
2024/08/15 02:14 7,739,904 cudafe++.exe
2024/08/15 02:11 556,544 cudart64_12.dll
2023/11/30 16:26 288,296 cudnn64_8.dll
2024/09/01 04:24 265,272 cudnn64_9.dll
2024/09/01 04:24 243,945,512 cudnn_adv64_9.dll
2023/11/30 16:26 125,217,320 cudnn_adv_infer64_8.dll
2023/11/30 16:26 116,558,888 cudnn_adv_train64_8.dll
2024/09/01 04:24 4,002,872 cudnn_cnn64_9.dll
2023/11/30 16:26 582,690,344 cudnn_cnn_infer64_8.dll
2023/11/30 16:26 122,242,104 cudnn_cnn_train64_8.dll
2024/09/01 04:24 432,804,904 cudnn_engines_precompiled64_9.dll
2024/09/01 04:24 16,297,000 cudnn_engines_runtime_compiled64_9.dll
2024/09/01 04:25 2,063,400 cudnn_graph64_9.dll
2024/09/01 04:25 44,681,784 cudnn_heuristic64_9.dll
2024/09/01 04:25 107,492,904 cudnn_ops64_9.dll
2023/11/30 16:26 89,759,272 cudnn_ops_infer64_8.dll
2023/11/30 16:26 70,162,472 cudnn_ops_train64_8.dll
2024/08/15 03:03 275,258,368 cufft64_11.dll
2024/08/15 03:03 163,328 cufftw64_11.dll
2024/08/15 02:45 1,513,984 cuinj64_126.dll
2024/08/15 02:11 11,713,024 cuobjdump.exe
2024/08/15 02:25 63,279,104 curand64_10.dll
2024/08/15 04:12 116,768,256 cusolver64_11.dll
2024/08/15 04:11 77,813,248 cusolverMg64_11.dll
2024/08/15 03:09 287,497,216 cusparse64_12.dll
2024/08/15 02:14 881,664 fatbinary.exe
2024/08/15 03:20 292,352 nppc64_12.dll
2024/08/15 03:20 16,235,008 nppial64_12.dll
2024/08/15 03:20 6,234,624 nppicc64_12.dll
2024/08/15 03:20 9,865,728 nppidei64_12.dll
2024/08/15 03:20 96,892,416 nppif64_12.dll
2024/08/15 03:20 39,228,416 nppig64_12.dll
2024/08/15 03:20 9,341,952 nppim64_12.dll
2024/08/15 03:20 36,831,232 nppist64_12.dll
2024/08/15 03:20 265,728 nppisu64_12.dll
2024/08/15 03:20 4,221,440 nppitc64_12.dll
2024/08/15 03:20 12,687,872 npps64_12.dll
2024/08/15 02:34 331,776 nvblas64_12.dll
2024/08/15 02:14 14,029,824 nvcc.exe
2024/08/15 02:14 343 nvcc.profile
2024/08/15 02:11 50,708,480 nvdisasm.exe
2024/08/15 02:14 838,656 nvfatbin_120_0.dll
2024/08/30 19:47 215,426,088 nvinfer_10.dll
2024/08/30 19:46 5,688 nvinfer_10.lib
2024/08/30 19:48 1,436,593,704 nvinfer_builder_resource_10.dll
2024/08/30 19:47 616,488 nvinfer_dispatch_10.dll
2024/08/30 19:46 4,362 nvinfer_dispatch_10.lib
2024/08/30 19:46 29,457,448 nvinfer_lean_10.dll
2024/08/30 19:46 5,104 nvinfer_lean_10.lib
2024/08/30 19:47 30,986,792 nvinfer_plugin_10.dll
2024/08/30 19:46 2,564 nvinfer_plugin_10.lib
2024/08/30 19:47 565,288 nvinfer_vc_plugin_10.dll
2024/08/30 19:46 2,374 nvinfer_vc_plugin_10.lib
2024/08/15 02:13 38,856,192 nvJitLink_120_0.dll
2024/08/15 02:23 4,901,888 nvjpeg64_12.dll
2024/08/15 02:14 20,608,000 nvlink.exe
2024/08/30 19:47 3,064,872 nvonnxparser_10.dll
2024/08/30 19:46 2,524 nvonnxparser_10.lib
2024/08/15 02:45 2,210,304 nvprof.exe
2024/08/15 02:11 254,464 nvprune.exe
2024/08/15 02:11 5,345,792 nvrtc-builtins64_126.dll
2024/08/15 02:11 45,535,744 nvrtc64_120_0.alt.dll
2024/08/15 02:11 45,475,328 nvrtc64_120_0.dll
2024/08/15 03:45 129 nvvp.bat
2024/08/15 02:14 20,220,416 ptxas.exe
2024/08/15 02:14 84,480 __nvcc_device_query.exe
71 ファイル 5,612,029,986 バイト
3 ディレクトリ 128,267,644,928 バイト空き

これでTensorrt 10.4のインストールは完了です。

FaceFusion 3.0.0のインストールと展開

まず、ローカルにPython 3.11がインストールされていることを確認し、公式プロジェクトをクローンします。

git clone https://github.com/facefusion/facefusion.git
cd facefusion

基本的な依存関係のインストール。

pip3 install -r requirements.txt

次にonnxruntime-gpuをインストールする。

pip3 install onnxruntime-gpu

ONNX Runtime-GPUは、ONNX（Open Neural Network Exchange）フォーマットで表現された機械学習モデルを実行できる高性能推論エンジンです。 重要なのは "GPU "の部分で、NVIDIAのGPU（Graphics Processor Unit）に最適化されているため、CPUよりも高速かつ効率的にモデルを実行できる。

デフォルトでインストールされるonnxruntime-gpuのバージョンは19.2であり、これは特にcuda12に適合している。

tensorrtライブラリをインストールする：

pip3 install tensorrt==10.4.0 --extra-index-url https://pypi.nvidia.com

tensorrt用のpython 3.11ランタイムライブラリです。

最後にトーチを取り付ける。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

接尾辞はcu118でもcu121でもなくcu124であることに注意。

インストールに成功したら、python 3.11のターミナルに行く：

>> import onnxruntime as ort >> print(ort.get_available_providers())
>>> print(ort.get_available_providers())
['TensorrtExecutionProvider','CUDAExecutionProvider','CPUExecutionProvider']。

cpu、cuda、Tensorrtの3つのバックエンドサポートがすべて表示されれば、コンフィギュレーションとインストールは成功です。

コマンドを実行する。

python3 facefusion.py run

フェイススワップのメインインターフェイスに行く。

Tensorrtのおかげで、リアルタイムの顔交換もサポートしている：

python3 facefusion.py run --ui-layouts webcam

カメラの顔の入れ替え効果：

最後に、FaceFusion 3.0.0ではffmpegソフトウェアのローカルインストールが必要です：

winget install -e --id Gyan.FFmpeg

コマンドラインに不慣れなユーザーのために、FaceFusionはWindowsインストーラーを提供しています。

使用ガイドライン

基本操作

1. FaceFusionを開始する：

   python run.py
   

2. ソース画像を選択：置き換えたい顔を含む画像をアップロードします。
3. ターゲット画像またはビデオを選択：置換する顔の画像またはビデオをアップロードします。
4. 調整パラメータ：必要に応じて、顔検出、交換モデル、エンハンス設定などのパラメータを調整します。
5. 処理開始：「開始」ボタンをクリックし、処理が完了するまで待つ。

高度な機能

• マスキング処理：
  • 使い始める フェイス・デバッガー オプション
  • 適切なマスキングモード（ボックス、オクルージョン、リージョン）を選択します。
  • アダプト フェイスマスク パラメータでオクルージョン効果を最適化する。
• HD処理：
  • 使い始める フェイス・エンハンサー オプション
  • GFPGAN1.4やcodeformerなどの適切なエンハンスメントモデルを選択する。
  • アダプト 顔検出サイズ ディテーリング・スキルを向上させる。
• リップシンクロ：
  • 使い始める リップ・シンサー オプション
  • オーディオファイルのアップロード
  • 適切なリップ同期モデルを選択する。

実技

• パフォーマンスの最適化：
  • グラフィックカードのタイプに合わせて選ぶ 実行プロバイダー(NVIDIAはCUDA、AMDはDirectMLを使用）。
  • アダプト 実行スレッド数 処理速度とメモリ使用量のバランスをとる。
• 多面加工：
  • 利用する フェイス・セレクター・モード 単一面または複数面の処理を選択します。
  • アダプト 基準面距離 パラメータを使用して、多角度顔のマッチング精度を向上させる。
• 漫画の顔加工：
  • 利用する simswap_256 アニメの顔交換用モデル。
  • 使い始める フェイス・エンハンサー そして、目、鼻、口の周りを強調することに集中する。

よくある質問

• FaceFusionはリアルタイム処理に対応していますか？ FaceFusionは現在オフライン処理に最適化されていますが、パラメータを調整することで処理速度を上げることができます。
• 顔面移植の仕上がりの自然さを向上させるにはどうすればよいですか？ 調整が可能 フェイスマスク パラメータを有効にし、高画質のソース画像を使用してください。また フェイス・エンハンサー 結果はさらに改善できる。
• FaceFusionはバッチ処理に対応していますか？ はい、FaceFusionは画像やビデオのバッチ処理に対応しています。コマンドラインパラメータまたはグラフィカルインターフェースで設定できます。

現地でのワンクリック設置／オンライン体験

このコンテンツは作者によって非表示にされています。コンテンツを表示するには認証コードを入力してください。

キャプチャ

このサイトWeChat公開番号に注意してください、返信"CAPTCHA、チャレンジ・レスポンス・テストの一種（コンピューティング）"、認証コードを取得します。WeChatで"チーフAIシェアリングサークル「またはルックスAI"またはWeChatは、QRコードの右側をスキャンすると、このサイトWeChatの公開番号に注意を払うことができます。