DH live: ИИ цифровых людей с плавным взаимодействием в реальном времени на видеокартах серии 30/40

Общее введение

DH_live - это проект цифрового человека в реальном времени, основанный на обучении по принципу "образец меньше", цель которого - обеспечить пользователям плавную и интерактивную трансляцию в реальном времени. Проект поддерживает видеокарты NVIDIA 30 и 40 серий и способен работать в режиме реального времени со скоростью 25+ кадров в секунду. Пользователи могут создавать и использовать цифровых людей в простых шагах, обеспечивая создание видео со звуком и взаимодействие в реальном времени.

Список функций

• Производительность в реальном времени: поддержка видеокарт NVIDIA серий 30 и 40 для плавной интерактивной работы в реальном времени.
• Обучение на нескольких примерах: система способна обучаться на небольшом количестве примеров, чтобы генерировать реалистичные ответы.
• Подготовка видео: используйте сценарий data_preparation для подготовки видеоданных.
• Аудиодрайвер: поддерживает управление цифровыми людьми через аудиофайлы для создания синхронизированного видео.
• Вход для микрофона в режиме реального времени: поддерживает работу в режиме реального времени через микрофон.

Использование помощи

Создание среды и распаковка файла модели

1. Создайте виртуальную среду и активируйте ее:

   conda create -n dh_live python=3.12
   conda activate dh_live
   

2. Установите зависимость:

   pip install torch --index-url https://download.pytorch.org/whl/cu124
   pip install -r requirements.txt
   

3. Распакуйте файлы модели:
   • Linux.

     cd checkpoint
     cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
     gzip -d -c render.pth.gz > render.pth
     

   • Windows: Распакуйте файл контрольной точки с помощью 7zip или WinRAR.

Подготовка видео

1. пользоваться data_preparation.py Видеоролик о подготовке сценария:

   python data_preparation.py YOUR_VIDEO_PATH
   

   Результаты будут сохранены в ./video_data Каталог.

Работа с аудиофайлами

1. Убедитесь, что аудиофайл имеет формат .wav с частотой дискретизации 16 кГц, 16-битный монофонический формат.
2. Запустите демонстрационный сценарий:

   python demo.py video_data/test video_data/audio0.wav 1.mp4
   

работа в режиме реального времени

1. Используйте микрофон для работы в режиме реального времени:

   python demo_avatar.py
   

общие проблемы

• Невозможность распаковать файл модели: Убедитесь, что все файлы вложенных томов завершены и правильно распакованы.
• Неправильный формат аудиофайла: Пожалуйста, используйте соответствующий файл .wav.

DH live one-click installer

Ссылка: https://pan.quark.cn/s/5a34bc9c2f76
Код экстракта: sZT4