FaceFusion: инструмент для улучшения видеозаписи с заменой лиц | Voice Sync Video Mouth Moves

Последние ресурсы по искусственному интеллектуОбновлено 7 месяцев назад Круг обмена ИИ

16.3K 00

Общее введение

FaceFusion - это современная облачная платформа, объединяющая функции обмена и улучшения лиц, оптимизирующая процесс обмена изображений на видео и изображений на изображения с помощью 5 профессиональных моделей для обеспечения безупречного результата. Кроме того, она выполняет улучшение лица с помощью 7 моделей, улучшает качество видео и изображения с помощью 3 различных моделей, а также предлагает ряд мощных функций, включая замену лица, улучшение лица, синхронизацию губ и многое другое.

Цель FaceFusion - предоставить пользователям простое в использовании, эффективное и многофункциональное решение для замены лица с помощью искусственного интеллекта. Он также поддерживает работу в режиме онлайн, распознавание лиц по нескольким моделям и т. д. Проект на GitHub содержит инструкции по установке и использованию и требует соответствующих технических знаний.

FaceFusion обновился до версии 3.0 с дополнительными оптимизациями, поэтому рекомендуем обновить его, а в конце статьи вы найдете различные программы установки FaceFusion в один клик. Конфигурация компьютера не может запуститься, пожалуйста, выберите более отличную бесплатную онлайн-программу! инструмент для смены лиц.

Самоучитель по FaceFusion:Самый мощный инструмент для искусственного интеллекта для замены лиц: подробные руководства по использованию FaceFusion

Список функций

Поддержка нескольких моделей: Обеспечение нескольких моделей замены и улучшения лица, таких как InSwapper_128, GFPGAN и т.д.
Обработка высокого разрешения: поддерживает обработку изображений и видео высокого разрешения, обеспечивая четкость и качество выходных результатов.
Обработка окклюзии: Благодаря передовой технологии обнаружения и обработки окклюзии, она эффективно решает проблему изменения лица при частичной окклюзии.
Совместимость с несколькими платформами: поддерживает основные графические платформы, такие как NVIDIA и AMD.
Lip Sync: обеспечивает синхронизацию звука с видео.
Открытый исходный код и бесплатность: позволяет пользователям свободно использовать и настраивать.

Использование помощи

Руководство по установке

Локальное развертывание Win11 FaceFusion3 сильнейший искусственный интеллект для замены лиц, встроенное ускорение вывода данных Tensorrt10.4

Установка FaceFusion требует определенных технических знаний. Пользователи, знакомые с операциями в командной строке, могут выполнить следующие шаги для установки:

FaceFusion3.0.0 - по большому счету, самый сильный проект по замене лиц ИИ на данный момент. Мы поделимся тем, как локально развернуть проект FaceFusion3.0.0 в системе Win11, основанной на последней версии cuda12.6 с последней версией cudnn9.4 и с Tensorrt10.4, чтобы улучшить скорость и эффективность выводов, так что видеокарты десертного класса также могут взорваться в производительности. производительность.

Установите последнюю версию Cuda 12.6 и Cudnn 9.4.

CUDA - это технология, разработанная компанией NVIDIA, которая позволяет программировать GPU подобно CPU, позволяя графическим процессорам участвовать в вычислениях, тем самым ускоряя их. Можно считать, что это "язык", который позволяет программистам направлять "рабочих" GPU для совместной работы.

cuDNN - это "набор инструментов", разработанный специально для глубокого обучения. Глубокое обучение похоже на строительство дома, которое требует множества "блоков", таких как свертка, объединение и т. д. cuDNN предоставляет эти предварительно оптимизированные "блоки", которые программисты могут использовать напрямую, без необходимости писать эти сложные коды с нуля, что значительно повышает скорость обучения и вывода моделей глубокого обучения. Это значительно повышает скорость обучения и вывода моделей глубокого обучения. Это как опытный строитель, который может быстро и эффективно закончить строительство дома.

Установщик можно загрузить с официального сайта Nvidia, но для этого необходимо войти в свою учетную запись Nvidia, а здесь для вас загружена последняя версия установщика:

https://pan.quark.cn/s/bc3ab3494596

Прежде всего, дважды щелкните на файле cuda_12.6.1_560.94_windows.exe для установки, обратите внимание, что не следует устанавливать на диск C, так как он занимает слишком много места, рекомендуется создать каталог 12.6 на других дисках, а затем установить его.

После успешной установки выполните команду для проверки:

(base) PS C:\Users\zcxey> nvcc -V  
nvcc: NVIDIA (R) Cuda compiler driver  
Copyright (c) 2005-2024 NVIDIA Corporation  
Built on Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024  
Cuda compilation tools, release 12.6, V12.6.68  
Build cuda_12.6.r12.6/compiler.34714021_0  
(base) PS C:\Users\zcxey>

Вы видите, что отображаемая версия - 12.6.

Затем откройте каталог cudnn-windows-x86_64-9.4.0.58_cuda12-archive, скопируйте и перезапишите каталоги bin, include и lib прямо в каталог установки cuda. На этом этапе будут установлены cuda12.6 и соответствующий ей cudnn9.4, обратите внимание, что номера версий должны совпадать.

Установка Tensorrt 10.4

Что касается Tensorrt, представьте, что вы обучили очень умную собаку (ваша модель глубокого обучения), которая научилась распознавать различные изображения кошек и собак. Однако собака каждый раз тратит много времени на распознавание картинок, что не очень эффективно.

TensorRT - это как тренер, который поможет вам обучить собаку быть более эффективной. Он оптимизирует собаку так, чтобы она могла быстрее и точнее распознавать изображения и потреблять меньше энергии. Таким образом, оптимизированная модель TensorRT сможет быстрее рассуждать (распознавать изображения) на вашем компьютере или сервере, тем самым экономя время и ресурсы.

Tensorrt фокусируется на моделях, которые уже были обучены, а не на обучении самой модели. Это как профессиональный оптимизатор, позволяющий вашим моделям работать быстрее и с меньшими усилиями в реальных приложениях.

Откройте каталог TensorRT-10.4.0.26 и скопируйте все файлы динамической библиотеки dll из каталога lib в каталог bin директории установки cuda12.6:

Directory of D:\12.6\bin  
2024/09/27  11:08    <DIR>          .  
2024/09/27  10:48    <DIR>          ..  
2024/08/15  02:14           228,352 bin2c.exe  
2024/08/15  02:01                66 compute-sanitizer.bat  
2024/09/27  10:48    <DIR>          crt  
2024/08/15  02:11           202,752 cu++filt.exe  
2024/08/15  02:34       100,806,656 cublas64_12.dll  
2024/08/15  02:34       510,903,296 cublasLt64_12.dll  
2024/08/15  02:14         7,739,904 cudafe++.exe  
2024/08/15  02:11           556,544 cudart64_12.dll  
2023/11/30  16:26           288,296 cudnn64_8.dll  
2024/09/01  04:24           265,272 cudnn64_9.dll  
2024/09/01  04:24       243,945,512 cudnn_adv64_9.dll  
2023/11/30  16:26       125,217,320 cudnn_adv_infer64_8.dll  
2023/11/30  16:26       116,558,888 cudnn_adv_train64_8.dll  
2024/09/01  04:24         4,002,872 cudnn_cnn64_9.dll  
2023/11/30  16:26       582,690,344 cudnn_cnn_infer64_8.dll  
2023/11/30  16:26       122,242,104 cudnn_cnn_train64_8.dll  
2024/09/01  04:24       432,804,904 cudnn_engines_precompiled64_9.dll  
2024/09/01  04:24        16,297,000 cudnn_engines_runtime_compiled64_9.dll  
2024/09/01  04:25         2,063,400 cudnn_graph64_9.dll  
2024/09/01  04:25        44,681,784 cudnn_heuristic64_9.dll  
2024/09/01  04:25       107,492,904 cudnn_ops64_9.dll  
2023/11/30  16:26        89,759,272 cudnn_ops_infer64_8.dll  
2023/11/30  16:26        70,162,472 cudnn_ops_train64_8.dll  
2024/08/15  03:03       275,258,368 cufft64_11.dll  
2024/08/15  03:03           163,328 cufftw64_11.dll  
2024/08/15  02:45         1,513,984 cuinj64_126.dll  
2024/08/15  02:11        11,713,024 cuobjdump.exe  
2024/08/15  02:25        63,279,104 curand64_10.dll  
2024/08/15  04:12       116,768,256 cusolver64_11.dll  
2024/08/15  04:11        77,813,248 cusolverMg64_11.dll  
2024/08/15  03:09       287,497,216 cusparse64_12.dll  
2024/08/15  02:14           881,664 fatbinary.exe  
2024/08/15  03:20           292,352 nppc64_12.dll  
2024/08/15  03:20        16,235,008 nppial64_12.dll  
2024/08/15  03:20         6,234,624 nppicc64_12.dll  
2024/08/15  03:20         9,865,728 nppidei64_12.dll  
2024/08/15  03:20        96,892,416 nppif64_12.dll  
2024/08/15  03:20        39,228,416 nppig64_12.dll  
2024/08/15  03:20         9,341,952 nppim64_12.dll  
2024/08/15  03:20        36,831,232 nppist64_12.dll  
2024/08/15  03:20           265,728 nppisu64_12.dll  
2024/08/15  03:20         4,221,440 nppitc64_12.dll  
2024/08/15  03:20        12,687,872 npps64_12.dll  
2024/08/15  02:34           331,776 nvblas64_12.dll  
2024/08/15  02:14        14,029,824 nvcc.exe  
2024/08/15  02:14               343 nvcc.profile  
2024/08/15  02:11        50,708,480 nvdisasm.exe  
2024/08/15  02:14           838,656 nvfatbin_120_0.dll  
2024/08/30  19:47       215,426,088 nvinfer_10.dll  
2024/08/30  19:46             5,688 nvinfer_10.lib  
2024/08/30  19:48     1,436,593,704 nvinfer_builder_resource_10.dll  
2024/08/30  19:47           616,488 nvinfer_dispatch_10.dll  
2024/08/30  19:46             4,362 nvinfer_dispatch_10.lib  
2024/08/30  19:46        29,457,448 nvinfer_lean_10.dll  
2024/08/30  19:46             5,104 nvinfer_lean_10.lib  
2024/08/30  19:47        30,986,792 nvinfer_plugin_10.dll  
2024/08/30  19:46             2,564 nvinfer_plugin_10.lib  
2024/08/30  19:47           565,288 nvinfer_vc_plugin_10.dll  
2024/08/30  19:46             2,374 nvinfer_vc_plugin_10.lib  
2024/08/15  02:13        38,856,192 nvJitLink_120_0.dll  
2024/08/15  02:23         4,901,888 nvjpeg64_12.dll  
2024/08/15  02:14        20,608,000 nvlink.exe  
2024/08/30  19:47         3,064,872 nvonnxparser_10.dll  
2024/08/30  19:46             2,524 nvonnxparser_10.lib  
2024/08/15  02:45         2,210,304 nvprof.exe  
2024/08/15  02:11           254,464 nvprune.exe  
2024/08/15  02:11         5,345,792 nvrtc-builtins64_126.dll  
2024/08/15  02:11        45,535,744 nvrtc64_120_0.alt.dll  
2024/08/15  02:11        45,475,328 nvrtc64_120_0.dll  
2024/08/15  03:45               129 nvvp.bat  
2024/08/15  02:14        20,220,416 ptxas.exe  
2024/08/15  02:14            84,480 __nvcc_device_query.exe  
71 File(s)  5,612,029,986 bytes  
3 Dir(s)  128,267,644,928 bytes free

На этом установка Tensorrt 10.4 завершена.

Установка и развертывание FaceFusion 3.0.0

Сначала убедитесь, что у вас есть локальная установка Python 3.11, а затем клонируйте официальный проект.

git clone https://github.com/facefusion/facefusion.git
cd facefusion

Установка основных зависимостей.

pip3 install -r requirements.txt

Затем установите onnxruntime-gpu.

pip3 install onnxruntime-gpu

ONNX Runtime-GPU - это высокопроизводительный механизм вывода, способный запускать модели машинного обучения, представленные в формате ONNX (Open Neural Network Exchange). Ключевым моментом является часть "GPU", которая означает, что он оптимизирован для графического процессора NVIDIA (GPU), чтобы запускать модели быстрее и эффективнее, чем на CPU.

Обратите внимание, что по умолчанию установлена версия onnxruntime-gpu 19.2, которая специально адаптирована для cuda12.

Установите библиотеку tensorrt:

pip3 install tensorrt==10.4.0 --extra-index-url https://pypi.nvidia.com

Здесь находится библиотека времени выполнения python 3.11 для tensorrt.

Наконец, установите резак.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Обратите внимание, что суффикс - cu124, а не cu118 или cu121.

После успешной установки перейдите в терминал python 3.11:

>>> import onnxruntime as ort  
>>> print(ort.get_available_providers())  
['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

Если выведены все три бэкенда поддержки: cpu, cuda и Tensorrt, значит, настройка и установка прошли успешно.

Выполнить команду.

python3 facefusion.py run

Перейдите в главный интерфейс программы для замены лица.

Благодаря Tensorrt она также поддерживает смену лиц в реальном времени, перейдите к интерфейсу смены лиц в камере:

python3 facefusion.py run --ui-layouts webcam

Эффект смены лиц в камере:

Наконец, обратите внимание, что FaceFusion 3.0.0 требует локальной установки программы ffmpeg:

winget install -e --id Gyan.FFmpeg

Для пользователей, не знакомых с командной строкой, FaceFusion предлагает программу установки Windows, позволяющую быстро завершить процесс установки.

Руководство по использованию

базовая операция

Запустите FaceFusion:
```
python run.py
```
Выберите исходное изображение: загрузите изображение, содержащее лицо, которое вы хотите заменить.
Выберите целевое изображение или видео: загрузите изображение или видео с лицом, которое нужно заменить.
Параметры настройки: при необходимости настройте такие параметры, как обнаружение лица, модель обмена, параметры улучшения и т. д.
Начать обработку: нажмите кнопку "Начать" и дождитесь завершения обработки.

Дополнительные возможности

Маскирующая обработка:
- начать использовать face_debugger Варианты.
- Выберите подходящий режим маскировки (рамка, окклюзия, область).
- адаптировать Face Mask Blur параметр для оптимизации эффекта окклюзии.
Обработка HD:
- начать использовать face_enhancer Варианты.
- Выберите подходящую модель улучшения, например GFPGAN1.4 или codeformer.
- адаптировать Face Detector Size чтобы улучшить навыки детализации.
Синхронизация губ:
- начать использовать lip_syncer Варианты.
- Загрузите аудиофайлы.
- Выберите подходящую модель синхронизации губ.

практический навык

Оптимизация производительности:
- Выберите подходящий вариант в зависимости от типа видеокарты Execution Provider(NVIDIA использует CUDA, AMD - DirectML).
- адаптировать Execution Thread Count чтобы сбалансировать скорость обработки и использование памяти.
Обработка нескольких лиц:
- пользоваться Face Selector Mode Выберите обработку одного или нескольких лиц.
- адаптировать Reference Face Distance параметры для повышения точности совмещения многоугольных лиц.
Обработка мультяшных лиц:
- пользоваться simswap_256 модель для замены мультяшного лица.
- начать использовать face_enhancer И сосредоточьтесь на том, чтобы подчеркнуть глаза, нос и рот.

Часто задаваемые вопросы

Поддерживает ли FaceFusion обработку в реальном времени? В настоящее время FaceFusion оптимизирован для работы в автономном режиме, но скорость обработки может быть увеличена путем настройки параметров.
Как я могу улучшить естественность результатов пересадки лица? Можно попытаться отрегулировать Face Mask Blur параметр и используйте высококачественное исходное изображение. Кроме того, включите параметр face_enhancer Результаты могут быть улучшены.
Поддерживает ли FaceFusion пакетную обработку? Да, FaceFusion поддерживает пакетную обработку изображений и видео. Это можно установить с помощью параметров командной строки или графического интерфейса.