ACE++ : un outil polyvalent à code source ouvert pour l'édition locale précise d'images à l'aide de commandes textuelles

Introduction générale

ACE++ est un projet open source développé par l'équipe ali-vilab de l'Alibaba Tongyi Lab. Il est basé sur FLUX.1-Fill-dev modèle conçu pour permettre la génération et l'édition d'images par le biais de simples commandes textuelles. Le projet unifie la génération d'images de référence, l'édition locale et la génération contrôlée dans un cadre unique, fournissant trois modèles LoRA (portrait, objet, édition locale) et un modèle FFT plus général. Le code et les modèles sont téléchargeables gratuitement sur GitHub et ont été mis à jour le 11 mars 2025. ACE++ convient aux développeurs, aux concepteurs et aux utilisateurs généraux, et prend en charge à la fois les opérations en ligne de commande et la possibilité de créer des images sur l'écran de l'ordinateur. ComfyUI Utiliser dans.

ACE++ ne présente pas de lacunes significatives en matière d'habillage et de remplacement de visage par rapport à des outils dédiés, grâce à l'outil récemment lancé, le Gemini 2.0 Flash Très lumineux, le texte principal contrôle également l'édition locale de l'image, les deux effets peuvent être comparés.

Liste des fonctions

• Commande pour générer une image: Saisissez une description textuelle pour générer une nouvelle image, par exemple "Une fille en uniforme de police".
• Édition locale d'imagesModifier des zones spécifiques d'une image, par exemple remplacer l'arrière-plan ou ajuster les vêtements.
• Génération d'images de référence: Générer un nouveau dessin d'un style similaire à partir d'un dessin de référence.
• Sélection multi-modèleLes modèles LoRA : Trois modèles LoRA pour les portraits, les objets, l'édition locale et un modèle FFT sont disponibles.
• Support ComfyUILes avantages de ce système sont les suivants : flux de travail simplifié grâce à l'interface graphique.
• Formation sur mesureLes utilisateurs peuvent former des modèles avec leurs propres données, adaptés à des tâches spécifiques.
• Fonctionnalités avancéesLes applications étendues telles que la super résolution, l'échange de visages, le remplacement d'objets, etc. sont prises en charge.

Utiliser l'aide

Processus d'installation

ACE++ nécessite un environnement configuré pour fonctionner. Les étapes suivantes sont détaillées :

1. Préparation de l'environnement
   • Assurez-vous que Python 3.8 ou une version plus récente est installé sur votre ordinateur et que vous pouvez utiliser la commande python --version Vérifier.
   • Pour installer Git, téléchargez-le à partir du site web pour les utilisateurs de Windows et exécutez-le pour les utilisateurs de Mac. brew install git.
   • Les GPU NVIDIA avec au moins 12 Go de RAM sont recommandés, les CPU peuvent fonctionner mais sont lents.
2. Télécharger le code
   • Ouvrez un terminal et exécutez le programme :

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • Cette opération permet de télécharger le projet localement.
3. Installation des dépendances
   • Entrez la commande pour installer les bibliothèques requises :

     pip install -r repo_requirements.txt
     

   • Si vous avez des problèmes avec les autorisations, ajoutez --user Paramètres.
4. Télécharger les modèles
   • ACE++ s'appuie sur le modèle FLUX.1-Fill-dev pour définir les variables d'environnement :

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • Télécharger le modèle LoRA (optionnel) :

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • Modèle FFT (optionnel) :

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Il peut être téléchargé manuellement depuis Hugging Face ou ModelScope et placé dans le répertoire du projet.
5. test de fonctionnement
   • Exécutez la commande suivante pour vérifier l'environnement :

     python infer_lora.py
     

   • Si la sortie est normale, l'installation a réussi.

Comment utiliser les principales fonctionnalités

Commande pour générer une image

• procédure: :
  1. Saisissez une description textuelle, par exemple "une vieille chouette blanche".
  2. La course à pied :

     python infer_lora.py --prompt "1 white old owl"
     

  3. Les résultats sont enregistrés dans le fichier output Dossier.
• attirer l'attention sur qqch.Plus la description est détaillée, meilleurs sont les résultats. Le modèle FFT est adapté aux tâches complexes.

Édition locale d'images

• procédure: :
  1. Préparer des images (par exemple example.jpg) et le masque (par exemple mask.png), masquant la zone blanche pour la section d'édition.
  2. La course à pied :

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. L'image modifiée est automatiquement enregistrée.
• finesseLe masque peut être créé à l'aide de l'outil de dessin afin de s'assurer que la zone est claire.

Génération d'images de référence

• procédure: :
  1. Préparer des images de référence (par exemple ref.jpg).
  2. Saisissez une description telle que "Prairie Boy, garder le même style".
  3. La course à pied :

     python infer_lora.py --ref ref.jpg --prompt "a boy on the grassland in the same style"
     

  4. Les résultats conservent le style de la figure de référence.
• suggestionLes tableaux de référence sont plus efficaces lorsque le style est évident.

Utilisation de ComfyUI

• Installer ComfyUI: :
  1. Télécharger ComfyUI :

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. Placer le modèle ACE++ dans la base de données ComfyUI/models Dossier.
  3. Lancement :

     cd ComfyUI
     python main.py
     

• gréement: :
  1. Ouvrez votre navigateur et visitez http://localhost:8188.
  2. Importez le flux de travail ACE++ (situé dans le fichier workflow/ComfyUI-ACE_Plus).
  3. Téléchargez une image ou saisissez un texte, réglez les paramètres en fonction des invites de l'interface, puis cliquez sur Exécuter.
• avantageL'interface graphique est adaptée aux novices et son utilisation est plus intuitive.

Formation sur mesure

• Préparer les données: :
  1. consultation data/train.csvpréparez les données d'apprentissage au format :

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. Description du champ : Editorial Task Fill edit_image répondre en chantant maskRemplissage de la génération de référence ref_image.
• entraînement à la course à pied: :
  1. configurer train_config/ace_plus_lora.yaml, en ajustant les paramètres.
  2. La course à pied :

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. Le modèle d'entraînement est enregistré dans le fichier examples/exp_example.

Fonction en vedette Fonctionnement

Changement de modèle LoRA

• les méthodologies: :
  1. Définition de variables d'environnement, par exemple pour les modèles de portrait :

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. être en mouvement infer_lora.pyL'effet est biaisé en faveur de l'optimisation du portrait.
• utiliserLes modèles de portrait conviennent pour les visages, les modèles d'objets conviennent pour les articles et les modèles d'édition locale conviennent pour les ajustements régionaux.

Utilisation du modèle FFT

• les méthodologies: :
  1. Le cadre :

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. La course à pied :

     python infer_fft.py
     

• spécificitésLa LoRA : Elle prend en charge un plus grand nombre de tâches, mais les performances peuvent ne pas être aussi stables que celles de la LoRA ; elle convient à la recherche universitaire.

Applications avancées

• greffe de visage: :
  1. Préparer le visage de référence et les images cibles.
  2. Utilisation de ComfyUI flux de travail ACE_Plus_FFT_workflow_referenceediting_generation.jsonEntrez une commande telle que "Homme face à la caméra".
• super-résolution: :
  1. dépense ou frais ACE_Plus_FFT_workflow_no_preprocess.json, saisissez un diagramme de faible résolution et une description.
  2. Produit des images haute définition.

scénario d'application

1. Conception d'un avatar personnalisé
   Les utilisateurs saisissent une description ou téléchargent une photo pour générer un avatar de dessin animé, tel que "Fille souriante avec des lunettes".
2. Optimisation des produits pour le commerce électronique
   Les marchands modifient les images des produits, par exemple en changeant les vêtements en bleu et en ajoutant des arrière-plans pour augmenter les taux d'achat.
3. Production d'affiches de films
   Remplacez les visages des acteurs grâce à la fonction d'échange de visages ou ajustez les éléments de l'affiche pour créer rapidement des designs créatifs.

QA

1. ACE++ est-il gratuit ?
   Oui, ACE++ est un projet open source dont le code et les modèles peuvent être téléchargés gratuitement sur GitHub.
2. Que se passe-t-il si j'obtiens une erreur d'exécution ?
   Vérifiez la version de Python, l'installation des dépendances et le chemin du modèle. Si vous ne parvenez pas à résoudre le problème, soumettez-le dans GitHub Issues.
3. Quel est le meilleur modèle, le modèle FFT ou le modèle LoRA ?
   Le modèle LoRA est plus stable pour des tâches spécifiques, le modèle FFT est plus général mais les performances peuvent être dégradées, il est donc recommandé de choisir en fonction des besoins.