SadTalker: Заставьте фотографии говорить | Синхронизация рта аудио | Синтезированное видео синхронизации рта | Бесплатные цифровые люди

Общее введение

SadTalker - это инструмент с открытым исходным кодом, который объединяет одну портретную фотографию с аудиофайлом для создания реалистичных видеороликов с говорящей головой для широкого спектра сценариев, таких как персональные сообщения, образовательный контент и многое другое. Революционное использование технологий 3D-моделирования, таких как ExpNet и PoseVAE, позволяет улавливать тонкие выражения лица и движения головы. Пользователи могут использовать технологию SadTalker как для личных, так и для коммерческих проектов, таких как обмен сообщениями, обучение или маркетинг.

Рекомендуемые усовершенствования:SVLS: SadTalker улучшен для создания цифровых людей на основе портретного видеоНовейшее дополнение к списку - видеогенерируемый цифровой человек, который был усовершенствован с фотогенерируемого цифрового человека до видеогенерируемого цифрового человека, и говорит более плавно с помощью технологии вставки кадров.

Список функций

Синхронизация движений и выражений лица с помощью аудио

• Преобразование портретных фотографий в видеоролики
• Синхронизированная анимация аудиофайлов с синхронизацией губ

Поддерживает режим полного тела и функцию усиления экспрессии

Предоставляет настраиваемый интерфейс WebUI

Технология может быть использована через интеграцию Discord

Предоставьте подробную документацию по разработке и использованию

Поддержка Windows, Linux/Unix и macOS

Использование помощи

Установите необходимые Anaconda, Python и git
Следуйте документации для установки среды и загрузки модели
Создание анимации с помощью встроенного WebUI или интерфейса командной строки

Внимание:

• Для достижения наилучших результатов выбирайте четкие, фронтальные портретные фотографии
• Используйте чистые аудиофайлы, чтобы обеспечить точную синхронизацию губ

В зависимости от ресурсов, доступных в Интернете, здесь описаны основные шаги по использованию SadTalker:

1. Подготовка к защите окружающей среды:
   • Если у вас нет среды Python, установите Anaconda.
   • Установите NVIDIA cuda-toolkit, чтобы использовать GPU-ускорение на компьютерах с видеокартами NVIDIA. Обработка будет медленнее, если будет использоваться только CPU.
2. Установка моделей и библиотек:
   • Загрузите и установите необходимые файлы моделей и библиотек. Эти файлы обычно нужно поместить в определенную директорию, например./checkpoints/возможно./gfpgan/weights/.
3. Установка видеотеки FFMPEG:
   • Установите FFMPEG, который необходим для создания видео.
4. Установка библиотеки преобразования голоса TTS:
   • Установите библиотеку edge-tts для преобразования текста в речь.
5. Использование веб-интерфейса:
   • Нажав на кнопкуwebui.batЗапустите веб-интерфейс SadTalker.
   • В веб-интерфейсе загрузите изображение в указанную область и задайте параметры при преобразовании цифрового лица.
   • После создания цифрового видео человека вы можете просмотреть результаты в интерфейсе.
6. Использование командной строки:
   • Если требуется больше возможностей, SadTalker можно использовать с помощью сценариев командной строки.
   • При использовании командной строки вы можете выполнить командуtask.shфайл, чтобы легко генерировать задания.
7. предостережение:
   • При его использовании убедитесь, что изображение хорошего качества, чтобы добиться наилучших результатов.
   • Если возникнет ошибка, напримерlibiomp5md.dllКонфликты, попробуйте найти их вapp.pyУстановка переменных окружения вKMP_DUPLICATE_LIB_OK=TRUEчтобы исправить это.

Приведенные выше шаги основаны на веб-инструкциях и опыте пользователей, поэтому точные действия могут отличаться. Для получения наиболее актуальных и подробных инструкций рекомендуется обращаться к официальной документации SadTalker и учебным пособиям сообщества.

Установка SadTalker

SadTalker Windows downloads

SadTalker работает онлайн бесплатно на WebUI

обнимающее лицо  google colab