Leffa : Ajustement virtuel de modèle haute fidélité et ajustement de la pose du personnage, modèle de génération d'image de personnage contrôlable Meta open source

Introduction générale

Leffa est un cadre unifié pour la génération d'images de personnages contrôlés qui manipulent avec précision l'apparence (par exemple, l'ajustement virtuel) et la pose (par exemple, le transfert de la pose) des personnages. Le cadre réduit de manière significative la distorsion des détails les plus fins tout en maintenant une qualité d'image élevée en orientant la requête cible vers la clé de référence correcte dans la couche d'attention.La fonction de perte de Leffa est indépendante du modèle et peut être utilisée pour améliorer les performances d'autres modèles de diffusion. Ce projet a été développé par franciszzj et publié sur la plateforme Hugging Face.

Un excellent modèle pour changer de vêtements : Leffa, l'approche précédente de ce type de modèle laissait souvent les détails "s'échapper", rendant par exemple la texture des vêtements floue. Pour résoudre ce problème, Meta a inventé un "système de navigation" (Leffa) qui permet au processus de génération d'être plus "sur la cible", en trouvant l'emplacement exact des détails dans l'image de référence, de sorte que le vêtement conserve sa texture fine ! De plus, cette approche améliore les performances d'autres modèles génératifs.

Leffa Model Dressup

Leffa Modelling Posture Adjustment

Liste des fonctions

• Génération d'images de caractères contrôlés : générer une image de caractères contrôlés sur la base d'une image de référence.
• Essai virtuel : manipulez avec précision l'apparence du personnage pour obtenir un effet d'essayage virtuel.
• Décalage de la pose : manipulez avec précision la pose du personnage pour obtenir l'effet de décalage de la pose.
• Génération d'images de haute qualité : maintient une qualité d'image élevée et réduit la distorsion des détails.
• Fonctions de perte indépendantes du modèle : peuvent être utilisées pour améliorer les performances d'autres modèles de diffusion.

Utiliser l'aide

Processus d'installation

1. Créez un environnement conda et installez les dépendances nécessaires :

   conda create -n leffa python==3.10
   conda activate leffa
   cd Leffa
   pip install -r requirements.txt
   

2. Lancez l'application Gradio :

   python app.py
   

Fonction Opération Déroulement

1. Génération contrôlée d'images de caractères: :
   • Téléchargez les images de référence et de destination.
   • Génération d'images de caractères contrôlés à l'aide du modèle de Leffa.
   • Ajustez les paramètres pour obtenir l'aspect et l'effet de pose souhaités.
2. essai virtuel: :
   • Téléchargez des images de personnages et de costumes.
   • Générer des résultats d'ajustement virtuel en utilisant le modèle de Leffa.
   • Ajustez la position et la taille du vêtement pour obtenir les meilleurs résultats.
3. changement de posture: :
   • Téléchargez des images de personnes et des poses ciblées.
   • Générer des effets de transfert de pose à l'aide du modèle de Leffa.
   • Ajuster les paramètres de pose pour un transfert de pose naturel.
4. Génération d'images de haute qualité: :
   • Veillez à ce que les images de référence et de destination téléchargées soient de haute qualité.
   • Générer des images de haute qualité en utilisant le modèle de Leffa.
   • Vérifiez les détails de l'image générée pour vous assurer qu'il n'y a pas de distorsion.
5. fonction de perte indépendante du modèle: :
   • Application de la fonction de perte de Leffa à d'autres modèles de diffusion.
   • Effectuer la formation et l'évaluation du modèle pour observer l'effet d'amélioration des performances.

Avec les étapes ci-dessus, les utilisateurs peuvent facilement commencer à utiliser Leffa pour la génération d'images de personnages contrôlables, l'ajustement virtuel et le transfert de poses, et profiter du plaisir de la génération d'images de haute qualité.