InstantID: загрузите изображение и переместите функции портрета для создания различных стилей изображений

Общее введение

InstantID - это современная технология, позволяющая создавать изображения с индивидуальным стилем или позой за считанные секунды на основе одной эталонной идентификационной фотографии, обеспечивая при этом высокий уровень достоверности. В технологии используется решение на основе диффузионной модели, которое точно направляет процесс создания изображения, объединяя изображения лица, ориентиры и текстовые подсказки. Среди ключевых особенностей - высокая точность генерации изображений, совместимость с популярными предварительно обученными диффузионными моделями "текст-изображение", которые можно использовать без тщательной настройки и множества эталонных изображений, а также высокая точность изображения лица и возможности редактирования текста.

InstantID - это новый современный метод генерации идентификационных данных аватара по одному изображению, не требующий корректировки и поддерживающий различные последующие задачи. Клонируйте лица по одной фотографии и используйте слова-подсказки для создания разных по стилю изображений одного и того же лица.

Список функций

• Создание портретов с нулевым образцом: не нужно использовать несколько изображений, достаточно одного изображения лица, чтобы создать несколько стилей портретов.
• Высокая точность генерации: сгенерированные результаты обладают высокой точностью и могут хорошо сохранять идентичность исходного изображения.
• Поддержка нескольких последующих задач: поддержка нескольких последующих задач, таких как миграция стилей, редактирование изображений и т.д.
• Открытый исходный код и модели: открытый исходный код и предварительно обученные модели предоставляются для легкой загрузки и использования.
• Сильная совместимость: поддерживает интеграцию с другими проектами, такими как InstantStyle и Колорс совместимого использования.

Использование помощи

Загрузите изображение человека. Для изображений нескольких людей мы определим только самые крупные лица. Убедитесь, что лицо не слишком маленькое, не затенено и не размыто.
(Необязательно) Загрузите еще одно изображение фигуры в качестве эталонной позы. Если оно не загружено, мы будем использовать изображение первого лица для извлечения ориентиров. Если в шаге 1 использовалось обрезанное лицо, рекомендуется загрузить его, чтобы извлечь новую позу.
Ввод текстовых подсказок, как и в обычных моделях преобразования текста в изображение.
Нажмите кнопку Отправить, чтобы начать настройку.

Пользователи должны предоставить одну фотографию идентификатора ссылки
Можно выбрать различные стили и позы для создания индивидуального образа
Нет необходимости в точной настройке во время тестирования или в сборе нескольких изображений для точной настройки
Сгенерированные изображения можно напрямую использовать для слияния с популярными предварительно обученными моделями и сетями управления
Поддержка гибкого добавления атрибутов идентичности к нечеловеческим ролям

Процесс установки

1. Клонируйте репозиторий GitHub:

   git clone https://github.com/instantX-research/InstantID.git
   cd InstantID
   

    

2. Установите зависимость:

   pip install -r requirements.txt
   

    

3. Загрузите предварительно обученную модель:

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
   hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
   hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")
   

Процесс использования

1. Подготовьте изображение:

   from diffusers.utils import load_image
   image = load_image("your-example.jpg")
   

2. Модели для погрузки:

   from diffusers import StableDiffusionXLInstantIDPipeline, ControlNetModel
   controlnet = ControlNetModel.from_pretrained("./checkpoints/ControlNetModel", torch_dtype=torch.float16)
   pipe = StableDiffusionXLInstantIDPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16)
   pipe.cuda()
   pipe.load_ip_adapter_instantid("./checkpoints/ip-adapter.bin")
   

3. Создайте изображение:

   prompt = "analog film photo of a man. faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage, masterpiece, best quality"
   negative_prompt = "(lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured"
   image = pipe(prompt, image_embeds=face_emb, image=face_kps, controlnet_conditioning_scale=0.8).images[0]
   

Подробная процедура работы

1. Подготовка среды: Убедитесь, что необходимые зависимости установлены, и загрузите предварительно обученную модель.
2. Загрузить изображение: Использование load_image Функция загружает изображение для обработки.
3. Модели для погрузки: Использование from_pretrained Метод загружает предварительно обученную модель ControlNet и StableDiffusionXLInstantIDPipeline.
4. Создание изображений: Установите слово подсказки и отрицательное слово подсказки для сгенерированного изображения, вызвав функцию pipe метод для создания изображения.

Выполнив эти действия, пользователи смогут легко создавать высокоточные изображения для сохранения личности с помощью InstantID.

Программа внедрения ComfyUI

Выберите док-станцию SDXL Base Dock. Вы также можете попробовать 4-шаговый процесс SDXL Turbo, который очень эффективен для быстрого тестирования.

Первая загрузка обычно занимает более 60 секунд, но узел делает все возможное, чтобы кэшировать модель.

https://github.com/huxiuhan/ComfyUI-InstantID

Адрес InstantID Experience

Опыт работы с InstantID в режиме онлайн

Программа локального внедрения ComfyUI-InstantID