Wav2Lip: инструмент для создания высокоточной синхронизации губ с открытым исходным кодом (рекомендуется).

Общее введение

Wav2Lip - это высокоточный инструмент генерации синхронизации губ с открытым исходным кодом, предназначенный для точной синхронизации произвольного звука с синхронизацией губ в видео. Представленный на ACM Multimedia 2020 Рудрабхой Мухопадхьяем и другими, инструмент использует передовые методы искусственного интеллекта для обеспечения высококачественной синхронизации губ в различных средах. Wav2Lip подходит для исследовательского, академического и личного использования, он поставляется с полным кодом обучения, кодом вывода и предварительно обученными моделями.

Прошло много времени с момента итерации проекта, и это недавно оптимизированная версия:Easy-Wav2Lip: инструмент для высококачественной синхронизации видео по губам, оптимизированный для Wav2Lip . Для получения дополнительной информации о том, как Wav2Lip интегрируется, вы можете обратиться к Translation Starter: инструмент синхронизации перевода видеоконтента с открытым исходным кодом | преобразование языков | синхронизация губ .

Wav2Lip в Sync Labs Предоставляется бесплатный хостинг.

Colab Notes:

https://colab.research.google.com/drive/1IjFW1cLevs6Ouyu4Yht4mnR4yeuMqO7Y#scrollTo=Qgo-oaI3JU2u

https://colab.research.google.com/drive/1tZpDWXz49W6wDcTprANRGLo2D_EbD5J8?usp=sharing

Список функций

• Высокоточная синхронизация губ: точная синхронизация любого звука с синхронизацией губ в видео.
• Поддержка нескольких языков: Работает с различными языками и звуками, включая CGI-лица и синтезированные звуки.
• Открытый исходный код и свобода: код полностью публичен, и пользователи могут свободно использовать и изменять его.
• Интерактивная демонстрация: предоставляет онлайн-демонстрацию, в которую пользователи могут загружать видео- и аудиофайлы для ознакомления.
• Модели предварительного обучения: Предоставляются различные модели предварительного обучения, которые пользователи могут использовать непосредственно или для вторичного обучения.
• Полный учебный код: включает учебный код для дискриминатора синхронизации рта и модели Wav2Lip.

Использование помощи

Процесс установки

1. Хранилище клонирования :
   копирование в bash

git clonehttps://github.com/Rudrabha/Wav2Lip

1. Установите зависимости :
   копирование в bash

pip install -r requirements.txt

1. Загрузить предварительно обученную модель: загрузить предварительно обученную модель в указанную директорию, например face_detection/detection/sfd/s3fd.pth.
2. Запустите код вывода:
   копирование в bash

python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>

Процесс использования

1. Доступ к локальному серверу: открыть в браузере http://localhost:3000.
2. Совет по вводу: введите описание изображения, которое вы хотите сгенерировать, в поле ввода, и изображение будет сгенерировано в режиме реального времени.
3. Просмотр и загрузка изображений: сгенерированные изображения отображаются на странице, а кнопка загрузки будет добавлена в будущей версии.
4. Использовать режим согласованности: включите режим согласованности, чтобы создавать согласованные изображения, сохраняя фон или основные объекты неизменными.
5. Просмотр истории изображений: используйте функцию истории изображений для просмотра всех созданных изображений и перехода между ними.

Дополнительные возможности

• Расширенные подсказки: оптимизируйте генерируемые результаты с помощью расширенных опций подсказок.
• Выбрать модель: Выберите различные модели ИИ в соответствии с вашими потребностями.
• Пользовательская разработка: Поскольку Wav2Lip имеет открытый исходный код, пользователи могут выполнять вторичную разработку в соответствии со своими потребностями.

Wav2Lip Windows One-Click Installer (оптимизирован для работы с памятью)

Ссылка: https://pan.quark.cn/s/4755eabcdf52
Код извлечения: Xr86