InstantID: cargue una imagen y migre las funciones de retrato para generar diferentes estilos de imágenes

Introducción general

InstantID es una tecnología de vanguardia centrada en la generación de imágenes con estilos o poses personalizados en cuestión de segundos a partir de una única imagen de identificación de referencia, garantizando al mismo tiempo un alto nivel de fidelidad. La tecnología emplea una solución basada en un modelo de difusión que guía con precisión el proceso de generación de imágenes mediante la integración de imágenes faciales, imágenes de puntos de referencia y pistas textuales. Entre sus principales características se encuentran la generación de imágenes de alta fidelidad, la compatibilidad con los conocidos modelos de difusión texto-imagen preentrenados, que pueden utilizarse sin necesidad de grandes ajustes ni de múltiples imágenes de referencia, y las funciones de edición de texto y alta fidelidad facial.

InstantID es un nuevo método sin ajustes de última generación para la generación de identificaciones de características de avatares a partir de una sola imagen, que admite una gran variedad de tareas posteriores. Clone rostros a partir de una sola foto y utilice palabras clave para generar imágenes de diferentes estilos del mismo rostro.

Lista de funciones

• Generación de retención de identidad de muestra cero: No se necesitan varias imágenes, basta con una imagen de la cara frontal para generar múltiples estilos de retratos.
• Generación de alta fidelidad: los resultados generados tienen alta fidelidad y pueden preservar bien los rasgos de identidad de la imagen original.
• Compatibilidad con múltiples tareas posteriores: admite múltiples tareas posteriores como la migración de estilos, la edición de imágenes, etc.
• Código fuente abierto y modelos: se proporciona código fuente abierto y modelos preentrenados para facilitar su descarga y uso.
• Gran compatibilidad: admite la integración con otros proyectos como InstantStyle y Kolors de uso compatible.

Utilizar la ayuda

Cargue una imagen de persona. En el caso de imágenes de varias personas, sólo detectaremos las caras más grandes. Asegúrese de que la cara no es demasiado pequeña y no está visiblemente oscurecida o borrosa.
(Opcional) Cargue otra imagen de figura como pose de referencia. Si no se carga, utilizaremos la imagen de la primera persona para extraer los puntos de referencia. Si en el paso 1 se utilizó una cara recortada, se recomienda subirla para extraer una nueva pose.
Introduce texto, igual que los modelos normales de texto a imagen.
Haga clic en el botón Enviar para iniciar la personalización.

Los usuarios deben proporcionar una única fotografía de identificación de referencia
Se pueden seleccionar diferentes estilos y poses para generar imágenes personalizadas
No es necesario realizar ajustes durante las pruebas ni recopilar varias imágenes para realizar ajustes.
Las imágenes generadas pueden utilizarse directamente para la fusión con modelos preentrenados y redes de control populares.
Admite la adición flexible de atributos de identidad a funciones no humanas

Proceso de instalación

1. Clonar un repositorio GitHub:

   git clone https://github.com/instantX-research/InstantID.git
   cd InstantID
   

    

2. Instale la dependencia:

   pip install -r requirements.txt
   

    

3. Descargue el modelo preentrenado:

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
   hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
   hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")
   

Proceso de utilización

1. Prepara la imagen:

   from diffusers.utils import load_image
   image = load_image("your-example.jpg")
   

2. Modelos de carga:

   from diffusers import StableDiffusionXLInstantIDPipeline, ControlNetModel
   controlnet = ControlNetModel.from_pretrained("./checkpoints/ControlNetModel", torch_dtype=torch.float16)
   pipe = StableDiffusionXLInstantIDPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16)
   pipe.cuda()
   pipe.load_ip_adapter_instantid("./checkpoints/ip-adapter.bin")
   

3. Generar una imagen:

   prompt = "analog film photo of a man. faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage, masterpiece, best quality"
   negative_prompt = "(lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured"
   image = pipe(prompt, image_embeds=face_emb, image=face_kps, controlnet_conditioning_scale=0.8).images[0]
   

Procedimiento de funcionamiento detallado

1. Preparar el entornoAsegúrese de que están instaladas las dependencias necesarias y de que se ha descargado el modelo preentrenado.
2. Cargar imagen: Uso load_image carga la imagen que se va a procesar.
3. Modelos de carga: Uso from_pretrained carga el modelo ControlNet preentrenado y StableDiffusionXLInstantIDPipeline.
4. Generación de imágenes: Establece la palabra de referencia y la palabra de referencia negativa para la imagen generada llamando a la función pipe para generar una imagen.

Siguiendo estos pasos, los usuarios pueden generar fácilmente imágenes de retención de identidad de alta fidelidad con InstantID.

Programa de implantación de ComfyUI

Selecciona el SDXL Base Dock. También puedes probar el proceso de 4 pasos de SDXL Turbo, que es muy eficaz para realizar pruebas rápidas.

La primera carga suele tardar más de 60 segundos, pero el nodo hace todo lo posible por almacenar el modelo en caché.

https://github.com/huxiuhan/ComfyUI-InstantID

Dirección de InstantID Experience

Experiencia InstantID en línea

Programa de implantación local de ComfyUI-InstantID