Hallo2: создание портретных видеороликов с синхронизацией губ и выражений с помощью звука (установка в один клик для Windows)

Общее введение

Hallo2 - это проект с открытым исходным кодом, разработанный совместно Фуданьским университетом и компанией Baidu для создания портретных анимаций высокого разрешения с помощью звукового сопровождения. Проект использует передовые генеративные адверсарные сети (GAN) и методы временного выравнивания для достижения разрешения 4K и создания видео продолжительностью до 1 часа. Hallo2 также поддерживает текстовые подсказки для повышения разнообразия и управляемости создаваемого контента.

Выпущен Hallo3, позволяющий кондиционировать звук благодаря механизму перекрестного внимания, который эффективно улавливает сложную взаимосвязь между аудиосигналами и мимикой, обеспечивая потрясающую синхронизацию губ.

Обратите внимание, что:Hallo3 предъявляет следующие простые требования к входным данным для вывода:

• Эталонное изображение: эталонное изображение должно иметь соотношение сторон 1:1 или 3:2.
• Аудио драйвера: аудио драйвера должно быть в формате WAV.
• Язык аудио: аудио должно быть на английском языке, так как обучающий набор данных модели содержит только этот язык.
• Четкость звука: убедитесь, что вокал звучит четко; фоновая музыка допустима.

Список функций

• Генерация анимации на основе звука: Создайте соответствующую портретную анимацию, введя аудиофайл.
• Поддержка высокого разрешения: Поддержка создания видео с разрешением 4K для обеспечения четкого качества изображения.
• Создание длинных видеороликов: Может создавать видеоматериалы продолжительностью до 1 часа.
• Улучшение текстовых оповещений: Управление генерируемыми портретными выражениями и действиями с помощью семантических текстовых меток.
• открытый исходный код: Полный исходный код и предварительно обученные модели предоставляются для облегчения вторичной разработки.
• Поддержка нескольких платформ: Поддерживает работу на различных платформах, таких как Windows, Linux и т.д.

Использование помощи

Процесс установки

1. системные требования::
   • Операционная система: Ubuntu 20.04/22.04
   • GPU: видеокарта с поддержкой CUDA 11.8 (например, A100)
2. Создание виртуальной среды::

   conda create -n hallo python=3.10
   conda activate hallo
   

3. Установка зависимостей::

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   sudo apt-get install ffmpeg
   

4. Загрузите предварительно обученную модель::

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo2 pretrained_models
   

Процесс использования

1. Подготовка к вводу данных::
   • Загрузите и подготовьте необходимую предварительно обученную модель.
   • Подготовьте исходный образ и аудиофайлы драйвера.
2. Запуск сценариев вывода::

   python scripts/inference.py --source_image path/to/image --driving_audio path/to/audio
   

3. Просмотр сгенерированных результатов::
   • Созданный видеофайл будет сохранен в указанном выходном каталоге и может быть просмотрен с помощью любого видеоплеера.

Подробные шаги

1. Код загрузки::

   git clone https://github.com/fudan-generative-vision/hallo2
   cd hallo2
   

2. Создание и активация виртуальной среды::

   conda create -n hallo python=3.10
   conda activate hallo
   

3. Установите необходимые пакеты Python::

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   

4. Установите ffmpeg::

   sudo apt-get install ffmpeg
   

5. Загрузите предварительно обученную модель::

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo2 pretrained_models
   

6. Запуск сценариев вывода::

   python scripts/inference.py --source_image path/to/image --driving_audio path/to/audio
   

7. Просмотр сгенерированных результатов::
   • Созданный видеофайл будет сохранен в указанном выходном каталоге и может быть просмотрен с помощью любого видеоплеера.

Hallo2: программа установки Windows одним кликом

https://pan.quark.cn/s/aa9fc15a786f
Код для извлечения: 51XY