ИИ для подмены лиц - самый мощный инструмент: подробное руководство по использованию FaceFusion (с пакетом ключевых интеграций)

Привет всем, сегодня я хочу поделиться с вами инструментом для смены лиц - FaceFusion. В новой версии этого инструмента было увеличено количество моделей и HD-алгоритмов по сравнению со старой версией, что значительно улучшает эффект смены лиц на фотографиях и видео. Также добавлена функция трех видов масок, которая решает проблему плохого эффекта слияния и прыгающих вспышек, когда лицо закрыто объектами. В первой части рассказывается о том, как установить программу локально, а затем демонстрируются наиболее часто используемые процессы и настройки смены лиц. В третьей части подробно рассказывается о функции маски и демонстрируется использование различных масок.

монтаж

Получите пакет интеграции одним щелчком мыши:FaceFusion: инструмент для улучшения видеозаписи с заменой лиц | Voice Sync Video Mouth Moves

Учебники

Чтобы продемонстрировать пакет интеграции "Doodle Labs", распакуйте его и дважды щелкните на папке启动整合包.exe

Войдите в интерфейс CMD и подождите некоторое время.

При открытии программы открывается главный экран

Давайте начнем с краткого обзора нескольких распространенных настроек.

кадровый процессор

Что касается кадрового процессора, то здесь мы видим четыре варианта:

Первый вариантface_swapper(Режим смены лиц) по умолчанию отмечен, иначе смена лиц невозможна.

Второй вариантface_debugger(Режим отладки) Используется для отладки, когда вы включаете маску. При обычной смене лица галочку ставить не нужно.

Третий -face_enhancer(Улучшение лица) используется чаще всего, и если его включить, то можно улучшить четкость лиц людей в преобразованном видео.

Четвертый -frame_enhancer(Picture Enhancement) используется чаще всего, при ее включении можно улучшить общую четкость преобразованного видео. (Эта опция значительно увеличит время обработки, установите галочку в соответствии с вашим оборудованием)

Модель теплообменника

В раскрывающемся списке можно выбрать модель смены лица.

• inswapper_128 и inswapper_128_fp16

По умолчаниюinswapper_128_fp16Эта модель уже способна справиться с большинством сценариев с заменой лица.128Речь идет об обработке изображений с разрешением 128x128 пикселей.fp16Это означает, что модель использует 16-битные числа с плавающей точкой (FP16) для вычислений, что обычно означает, что она может снизить потребность в вычислительных ресурсах и ускорить обработку, сохраняя при этом достаточную точность, и особенно подходит для сред с ограниченными ресурсами или приложений, требующих обработки в реальном времени.

• blendswap_256

Эта модель может быть направлена на смешивание и замену лиц на двух изображениях, которые256Указывает, что разрешение изображения или выходное разрешение, с которым работает данная модель, составляет 256x256 пикселей. Такое разрешение подходит для небольших изображений и приложений, требующих быстрой обработки.

• simswap_256

Эта модель использует алгоритм обмена сходствами, который256Речь идет об обработке модели с разрешением 256x256 пикселей. Эта модель позволяет добиться высокого качества эффектов замены лица при сохранении качества исходного изображения.

• simswap_512_неофициальный

Эта модель похожа наsimswap_256Похожие.512Показано, что данная версия модели поддерживает более высокое разрешение, т.е. 512x512 пикселей, и способна генерировать результаты обмена лицами более высокого разрешения.unofficialУказывает на то, что эта версия не является официальным релизом, а представляет собой модификацию или расширение, сделанное членами сообщества на основе оригинальной модели.

Выберите другую модель в контексте вашего собственного проекта. Используйте 16-битные числа с плавающей точкой (такие какinswapper_128_fp16) - это метод оптимизации, который ускоряет прогон модели без существенного снижения качества результатов. Более высокие разрешения (напр.simswap_512) может обеспечить более тонкую детализацию, но при этом требует больше вычислительных ресурсов и времени на обработку.

Выполнение выбора режима программы

Здесь есть три варианта, если у вас N-карта, выберите вариантCudaЕсли у вас карта A или интегрированная графика, выберите CPU.

Количество потоков выполнения

Этот параметр настраивается в зависимости от аппаратного обеспечения вашего GPU, если у вас менее 8 Гб видеопамяти, оставьте значение по умолчанию. Если у вас более 8 Гб видеопамяти, вы можете изменить значение до 8-10 (в зависимости от ситуации, это просто рекомендация).

Количество очередей выполнения

Этот параметр используется только при использовании скрипта для пакетной смены лиц, вам не нужно устанавливать его на веб-странице, просто оставьте значение по умолчанию.

Политика видеопамяти, ограничения системной памяти

Здесь также не нужно делать никаких настроек, оставьте все по умолчанию и позвольте программе самой управлять собой.

выходной тракт

Этот путь - место, где хранится временное изображение во время выполнения замены лица, и он будет автоматически очищен программой после замены, поэтому менять его не нужно.

Общие варианты

• keep-temp

Не рекомендуется устанавливать этот флажок. Если этот флажок установлен, временные изображения, созданные после смены лица, будут сохранены во временной директории, указанной выше, что займет много места на жестком диске.

• skip-audio

Пропускает обработку звука и выводит видео без звука.

• skip-download

Рекомендуется отметить. Пропустить загрузку, наши модели уже загружены, вы можете отметить эту опцию, чтобы пропустить этап проверки загрузки.

простая пересадка лица

удар (по клавиатуре)源文件Выберите фотографию лица человека, предпочтительно фронтальный снимок, и четкое лицо, которое не должно быть затемнено.

нажмите ещё раз目标文件Выберите изображение или видео, которое нужно заменить.

В верхней части правой стороны находится область предварительного просмотра, следующие настройки будут подробно описаны через мгновение, одна картинка для лица в основном не используется, нажмите кнопку запуска, чтобы заменить, заменить хорошо после нажатия здесь, чтобы скачать сможете сохранить на компьютер.

Если вам нужен более резкий эффект, отметьте пункт "Улучшение лица" и нажмите кнопку "Начать снова", чтобы заменить его один раз.

Это самый простой процесс замены одного лица.

многократная смена лиц (например, геи)

Режим селектора лиц

• ссылка

В режиме по умолчанию лица определяются слева направо и заменяются первым обнаруженным лицом. Если вы хотите изменить замену, просто нажмите на соответствующий значок лица.

• один

Режим "один" заменит только первое обнаруженное лицо.

• много

Режим "Много" заменяет все обнаруженные лица.

Параметр расстояния до опорной поверхности

В большинстве случаев значение по умолчанию 0,6 вполне подходит. За исключением случаев, когда вы не можете распознать лицо, например, если в видео есть кадры с большим углом наклона, обращенные вбок, и обнаруженное совпадение лиц очень низкое, вы можете увеличить это значение.

Маска на лицо (вычислительная техника)

Например, на этом изображении, где лицо заслонено объектом, нужно выбрать подходящий режим маски, чтобы добиться лучшего эффекта наложения на лицо.

При использовании масок рекомендуется включить режим отладки. Красная рамка на экране предварительного просмотра - это маска, используемая программой по умолчанию в режиме бокса.

Вы видите, что в части маски будет видно лицо, нам нужно что-то с этим сделать. Отметьте второй режим маски

можно увидеть

Эта модель рассчитывает оставшийся диапазон лица (часть, выделенная красным цветом)

Размытие маски

По умолчанию 0,3, это регулирует прозрачность маскируемого объекта, если это не прозрачный объект, вы можете установить значение выше 0,5. Не забудьте закрытьface_debuggerОтладочные опции, позволяющие предотвратить маскирование лица в кривых сразу после изменения видео. Напоминаем, что при использовании режима закрытой маски значение размытия маски устанавливается в зависимости от того, насколько оно подходит, для этого может потребоваться несколько попыток. Однако это значение не является чем больше, тем лучше, для прозрачных объектов, таких как очки, уменьшите это значение, чтобы получить более реалистичный эффект наложения.

regionРежим зоны лица

Отметьте здесьregionЗатем ниже появятся два ряда параметров, включая брови, нос, глаза, рот и другие части, по умолчанию все они отмечены галочками, то есть эти части будут заменены по умолчанию, если вы не хотите заменять часть лица в оригинальном видео, галочку можно не ставить.

Вот как использовать FaceFusion, спасибо, что прочитали.