HelloMeme: генерировать локальные высокой точностью выражения действия последовательное изображение или видео, подиум Act один открытый источник пинг-понг!

Общее введение

HelloMeme - это проект с открытым исходным кодом, разработанный компанией HelloVision для генерации высококачественных изображений и видео путем интеграции Spatial Knitting Attentions для встраивания высокоуровневых и высокоточных условий в диффузионные модели. Код проекта и реализация модели размещены на GitHub и могут быть свободно загружены и использованы пользователями. HelloMeme предоставляет множество функциональных модулей, включая генерацию изображений, генерацию видео и интеграцию с Gradio и ComfyUI Интеграция удобна для различных экспериментов и приложений.

Похожие:

LivePortrait: анимационный инструмент для создания динамических портретов из неподвижных изображений и видео.(с открытым исходным кодом)

ConsisID: портретная справочная карта для создания видео с учетом характера, быстрая многотерминальная интеграция(с открытым исходным кодом)

Reface: замена лица и создание видео с помощью искусственного интеллекта для создания забавных анимированных изображений (платно)

Список функций

• Генерация изображений: Создание высококачественных изображений из эталонных и драйверных изображений.
• Поколение видео: Создавайте видеоролики с высокой точностью на основе эталонных видеороликов и видеороликов водителей.
• Интеграция Gradio: Предоставляет интерфейс Gradio для взаимодействия с пользователем.
• Интеграция с ComfyUI: Поддерживает интерфейс ComfyUI для упрощения процесса работы пользователя.
• экспериментальный модуль: Включает в себя различные экспериментальные коды, чтобы облегчить пользователю проведение различных экспериментов и тестов.
• эффективный алгоритм: Оптимизация алгоритмов для снижения потребления VRAM и повышения эффективности генерации.

Использование помощи

Процесс установки

1. Создание среды Conda::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. Установка PyTorch и FFmpeg: Пожалуйста, обратитесь к официальным сайтам PyTorch и FFmpeg для подробной установки.
3. Установка зависимостей::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. склад клонов::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. работающий код::
   • Генерация изображений: bash
python inference_image.py

   • Поколение видео: bash
python inference_video.py

6. Установка приложения Gradio::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

Функции Поток операций

Генерация изображений

1. Подготовка входного изображения: Подготовьте эталонный образ и образ диска.
2. Запустите сценарий создания изображения::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. Просмотр сгенерированных результатов: Созданное изображение будет сохранено в указанном каталоге.

Поколение видео

1. Подготовка к вводу видео: Подготовьте справочные видеоматериалы и видеоролики для водителей.
2. Запустите сценарий создания видео::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. Просмотр сгенерированных результатов: Созданное видео будет сохранено в указанном каталоге.

Использование интерфейса Gradio

1. Запуск приложения Gradio::

   python app.py

2. Доступ через браузер: Откройте браузер и посетите http://localhost:7860Интерфейс Gradio можно использовать для создания изображений и видео.

Использование интерфейса ComfyUI

1. Установите ComfyUI: Пожалуйста, обратитесь к официальному сайту ComfyUI для установки.
2. Запустите HelloMeme::

   python comfyui_hellomeme.py

3. Управление через интерфейс ComfyUI: Выберите функцию генерации изображения или видео, загрузите эталонные файлы и файлы драйверов и нажмите кнопку Generate.

предостережение

• версия зависимости: Обратите внимание на требования к версии диффузоров, в настоящее время поддерживаются следующие версии diffusers==0.31.0.
• Использование VRAM: При генерации видео, чем длиннее видео, тем больше VRAM требуется, поэтому настройте его в соответствии с реальной ситуацией.
• Скачать модель: При первом запуске все модели будут загружены автоматически, что может занять больше времени.