Avatarify Python: видеозвонки с аватарами в видеоконференциях

Общее введение

Avatarify Python - это инструмент для видеоконференций с искусственным интеллектом с открытым исходным кодом, основанный на технологии First Order Motion Model, которая отображает мимику и движения пользователя на любом аватаре в режиме реального времени. Он поддерживается в различных программах для видеоконференций, таких как Zoom, Skype, Teams и т. д., позволяя пользователям совершать видеозвонки с аватарами вместо реальных записей с камер. Инструмент не только поддерживает использование предустановленных аватаров знаменитостей, но и позволяет пользователям добавлять собственные аватары и даже использовать сгенерированные искусственным интеллектом аватары виртуальных персонажей. Виртуальная веб-камера создается при запуске системы и может быть использована в любом приложении, поддерживающем пользовательский источник видеосигнала.

Список функций

• Мимика и движения в реальном времени, отображаемые на виртуальных аватарах
• Поддерживает широкий спектр предустановленных аватаров знаменитостей и пользовательских аватаров
• Интеграция аватаров ИИ, сгенерированных StyleGAN
• Обеспечивает функцию масштабирования и регулировки положения экрана камеры
• Поддержка наложения предварительного просмотра аватара для перестановки
• Возможность быстрого переключения между различными аватарами (клавиши быстрого доступа 1-9)
• Поддержка зеркального отображения экрана предварительного просмотра и вывода
• Функция отображения точек лица для выравнивания
• Поддерживается во всех основных программах для видеоконференций
• Выбор локальной работы или удаленного ускорения GPU

Использование помощи

системные требования

1. Основные требования к конфигурации:
   • Для локальной работы требуется видеокарта NVIDIA (рекомендуемая производительность):
     • GeForce GTX 1080 Ti: 33 fps
     • GeForce GTX 1070: 15 кадров в секунду
     • GeForce GTX 950: 9 кадров/с.
   • Если у вас нет видеокарты NVIDIA, это вариант:
     • Работайте удаленно с помощью Google Colab
     • Использование удаленного сервера с графическим процессором
     • Работает на процессоре (низкая производительность, <1fps)

Этапы установки

1. Установка системы Windows:
   • Установка Miniconda Python 3.8
   • Установка Git
   • Откройте окно Anaconda Prompt и выполните его:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     scripts\install_windows.bat
     

   • Загрузите файл весов модели в каталог avatarify-python.
   • Установка OBS Studio и плагина VirtualCam
2. Установка системы Linux:

   git clone https://github.com/alievk/avatarify-python.git
   cd avatarify-python
   bash scripts/install.sh
   

3. Установка системы Mac:
   • Установка Miniconda Python 3.7
   • Установка CamTwist
   • Выполните сценарий установки:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     bash scripts/install_mac.sh
     

Руководство по использованию

1. Начните процедуру:
   • Windows: Выполнитьrun_windows.bat
   • Linux: Работаетbash run.sh
   • Mac: следуйте инструкциям Google Colab или Remote Server.
2. Оперативный контроль:
   • Цифровые клавиши 1-9: быстрое переключение между первыми 9 аватарами
   • Клавиша Q: Включить случайные аватары, генерируемые искусственным интеллектом
   • Клавиша 0: включить отображение/скрытие аватара
   • Клавиша A/D: переключение предыдущего/следующего аватара
   • Клавиша W/S: увеличение/уменьшение масштаба экрана камеры
   • Клавиши U/H/J/K: вверх/влево/вниз/вправо для перемещения экрана камеры
   • Клавиша Z/C: регулировка прозрачности наложения аватара
   • Клавиша X: сброс системы отсчета
   • Клавиша F: переключение режима поиска опорной системы
   • Клавиша O: показать/скрыть точки черт лица
   • Клавиша ESC: выход из программы
3. Советы по вождению Avatar:
   • Сохраняйте положение и пропорции лица в кадре камеры как можно ближе к целевому аватару
   • Подберите выражения с помощью функции наложения прозрачности (клавиша Z/C) или отображения точек лица (клавиша O).
   • Вы можете использовать клавишу F, чтобы программа автоматически нашла лучшую систему отсчета.
4. Используется в программном обеспечении для видеоконференций:
   • Zoom: Настройки -> Видео -> Выбрать виртуальную камеру
   • Skype: Настройки -> Аудио и видео -> Выбрать виртуальную камеру
   • Команды: Изображение профиля -> Настройки -> Устройства -> Выбрать виртуальную камеру
   • Slack: Сделать звонок -> Разрешить браузеру использовать камеру -> Настройки -> Выбрать виртуальную камеру