InstantID : téléchargez une image et migrez les fonctions de portrait pour générer différents styles d'images.

Dernières ressources sur l'IAPosté il y a 1 an Cercle de partage de l'IA

12.5K 00

Introduction générale

InstantID est une technologie de pointe qui permet de générer des images avec des styles ou des poses personnalisés en quelques secondes à partir d'une seule photo d'identité de référence, tout en garantissant un haut niveau de fidélité. La technologie utilise une solution basée sur un modèle de diffusion qui guide avec précision le processus de génération d'images en intégrant des images faciales, des images de repères et des indices textuels. Les principales caractéristiques sont la génération d'images de haute fidélité, la compatibilité avec les modèles de diffusion texte-image pré-entraînés les plus répandus, qui peuvent être utilisés sans réglage approfondi ni images de référence multiples, ainsi que des capacités d'édition de texte et de fidélité faciale élevées.

InstantID est une nouvelle méthode de pointe sans ajustement pour la génération de l'identification des caractéristiques d'un avatar à partir d'une seule image, prenant en charge une variété de tâches en aval. Clonez des visages à partir d'une seule photo et utilisez des mots repères pour générer différents styles d'images du même visage.

Liste des fonctions

Génération d'un échantillon zéro de rétention d'identité : pas besoin d'images multiples, une seule image de face suffit pour générer plusieurs styles de portraits.
Génération haute fidélité : les résultats générés sont très fidèles et peuvent préserver les caractéristiques d'identité de l'image originale.
Prise en charge de plusieurs tâches en aval : prise en charge de plusieurs tâches en aval telles que la migration de style, l'édition d'images, etc.
Code source ouvert et modèles : le code source ouvert et les modèles pré-entraînés sont fournis pour faciliter le téléchargement et l'utilisation.
Forte compatibilité : intégration avec d'autres projets tels que InstantStyle et Kolors d'une utilisation compatible.

Utiliser l'aide

Téléchargez une image de personne. Pour les images de plusieurs personnes, nous ne détecterons que les visages les plus grands. Assurez-vous que le visage n'est pas trop petit et qu'il n'est pas visiblement obscurci ou flou.
(Facultatif) Téléchargez une autre image de la personne comme pose de référence. Si elle n'est pas téléchargée, nous utiliserons l'image de la première personne pour extraire les points de repère. Si un visage recadré a été utilisé à l'étape 1, il est recommandé de le télécharger pour extraire une nouvelle pose.
Saisir des invites textuelles, tout comme les modèles texte-image normaux.
Cliquez sur le bouton Soumettre pour commencer la personnalisation.

Les utilisateurs doivent fournir une seule photo d'identité de référence
Différents styles et poses peuvent être sélectionnés pour générer des images personnalisées.
Il n'est pas nécessaire de procéder à des ajustements pendant les tests ou de collecter plusieurs images pour les ajuster.
Les images générées peuvent être directement utilisées pour la fusion avec des modèles et des réseaux de contrôle populaires pré-entraînés.
Prise en charge de l'ajout flexible d'attributs d'identité aux rôles non humains

Processus d'installation

Cloner un dépôt GitHub :

git clone https://github.com/instantX-research/InstantID.git
cd InstantID

Installer la dépendance :
```
pip install -r requirements.txt
```

Télécharger le modèle pré-entraîné :

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")

Processus d'utilisation

Préparer l'image :

from diffusers.utils import load_image
image = load_image("your-example.jpg")

Modèles de chargement :

from diffusers import StableDiffusionXLInstantIDPipeline, ControlNetModel
controlnet = ControlNetModel.from_pretrained("./checkpoints/ControlNetModel", torch_dtype=torch.float16)
pipe = StableDiffusionXLInstantIDPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16)
pipe.cuda()
pipe.load_ip_adapter_instantid("./checkpoints/ip-adapter.bin")

Générer une image :

prompt = "analog film photo of a man. faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage, masterpiece, best quality"
negative_prompt = "(lowres, low quality, worst quality:1.2), (text:1.2), watermark, painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured"
image = pipe(prompt, image_embeds=face_emb, image=face_kps, controlnet_conditioning_scale=0.8).images[0]

Procédure d'utilisation détaillée

Préparation de l'environnementLe modèle pré-entraîné : Assurez-vous que les dépendances nécessaires sont installées et que le modèle pré-entraîné est téléchargé.
Charger l'image: Utilisation load_image charge l'image à traiter.
Modèles de chargement: Utilisation from_pretrained charge le modèle ControlNet pré-entraîné et StableDiffusionXLInstantIDPipeline.
Générer des images: Définir le mot repère et le mot repère négatif pour l'image générée en appelant la fonction pipe pour générer une image.

Avec les étapes ci-dessus, les utilisateurs peuvent facilement générer des images de rétention d'identité de haute fidélité avec InstantID.

Programme de mise en œuvre de ComfyUI

Sélectionnez la station d'accueil SDXL. Vous pouvez également essayer le processus en 4 étapes de SDXL Turbo, qui est très efficace pour des tests rapides.

Le premier chargement prend généralement plus de 60 secondes, mais le nœud fait de son mieux pour mettre le modèle en cache.

https://github.com/huxiuhan/ComfyUI-InstantID