ACE++: ein vielseitiges Open-Source-Tool für die präzise lokale Bearbeitung von Bildern mit Textbefehlen

Allgemeine Einführung

ACE++ ist ein Open-Source-Projekt, das vom ali-vilab-Team im Alibaba Tongyi Lab entwickelt wurde. Es basiert auf FLUX.1-Fill-dev-Modell, das die Erzeugung und Bearbeitung von Bildern durch einfache Textbefehle ermöglicht. Das Projekt vereint Referenzbilderzeugung, lokale Bearbeitung und kontrollierte Erzeugung in einem einzigen Framework und bietet drei LoRA-Modelle (Porträt, Objekt, lokale Bearbeitung) und ein allgemeineres FFT-Modell. Der Code und die Modelle können kostenlos von GitHub heruntergeladen werden und wurden zuletzt am 11. März 2025 aktualisiert. ACE++ ist für Entwickler, Designer und allgemeine Benutzer geeignet und unterstützt sowohl Befehlszeilenoperationen als auch die Möglichkeit, Bilder auf der ComfyUI Verwendung in.

ACE++ hat keine nennenswerten Defizite in Bezug auf Face-Swapping und Dressing im Vergleich zu dedizierten Tools, dank der kürzlich eingeführten Zwilling 2.0 Flash Sehr hell, auch die wichtigsten Text-Befehlssteuerung Bild lokale Bearbeitung, können sie zwei Effekte durch sich selbst verglichen werden.

Funktionsliste

• Befehl zur Erzeugung eines BildesGeben Sie eine Textbeschreibung ein, um ein neues Bild zu erstellen, z. B. "Ein Mädchen in einer Polizeiuniform".
• Lokale BildbearbeitungÄndern Sie bestimmte Bereiche eines Bildes, z. B. durch Ersetzen des Hintergrunds oder Anpassen der Kleidung.
• Erzeugung von ReferenzbildernErzeugen einer neuen Zeichnung mit ähnlichem Stil auf der Grundlage einer Referenzzeichnung.
• Multimodell-AuswahlDrei LoRA-Modelle für Porträt, Objekt und lokale Bearbeitung und ein FFT-Modell sind verfügbar.
• ComfyUI-UnterstützungVereinfachter Arbeitsablauf durch grafische Benutzeroberfläche.
• Maßgeschneiderte AusbildungBenutzer können Modelle mit ihren eigenen Daten trainieren, die an bestimmte Aufgaben angepasst sind.
• Erweiterte FunktionenErweiterte Anwendungen wie Superresolution, Face Swap, Objektersatz usw. werden unterstützt.

Hilfe verwenden

Einbauverfahren

ACE++ benötigt eine konfigurierte Umgebung, um ausgeführt werden zu können. Im Folgenden werden die einzelnen Schritte beschrieben:

1. Vorbereiten der Umgebung
   • Stellen Sie sicher, dass Python 3.8 oder höher auf Ihrem Computer installiert ist und dass Sie die python --version Prüfen.
   • Um Git zu installieren, laden Sie es für Windows-Benutzer von der Website herunter und führen Sie es für Mac-Benutzer aus. brew install git.
   • NVIDIA-Grafikprozessoren mit mindestens 12 GB RAM werden empfohlen, CPUs können laufen, sind aber langsam.
2. Code herunterladen
   • Öffnen Sie ein Terminal und führen Sie es aus:

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • Dadurch wird das Projekt lokal heruntergeladen.
3. Installation von Abhängigkeiten
   • Geben Sie den Befehl zur Installation der erforderlichen Bibliotheken ein:

     pip install -r repo_requirements.txt
     

   • Wenn Sie Probleme mit den Berechtigungen haben, fügen Sie --user Parameter.
4. Modelle herunterladen
   • ACE++ stützt sich auf das FLUX.1-Fill-dev-Modell, um Umgebungsvariablen zu setzen:

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • LoRA-Modell herunterladen (optional):

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • FFT-Modell (optional):

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Sie kann manuell von Hugging Face oder ModelScope heruntergeladen und im Projektverzeichnis abgelegt werden.
5. Testlauf
   • Führen Sie den folgenden Befehl aus, um die Umgebung zu überprüfen:

     python infer_lora.py
     

   • Wenn die Ausgabe normal ist, war die Installation erfolgreich.

Verwendung der wichtigsten Funktionen

Befehl zur Erzeugung eines Bildes

• Verfahren::
  1. Geben Sie eine Textbeschreibung ein, z. B. "eine alte weiße Eule".
  2. Laufen:

     python infer_lora.py --prompt "1 white old owl"
     

  3. Die Ergebnisse werden in der Datei output Mappe.
• auf etw. aufmerksam machenJe detaillierter die Beschreibung, desto besser die Ergebnisse. Das FFT-Modell ist für komplexe Aufgaben geeignet.

Lokale Bildbearbeitung

• Verfahren::
  1. Bereiten Sie Bilder vor (z. B. example.jpg) und Maske (z. B. mask.png), wodurch der weiße Bereich für den Bearbeitungsbereich maskiert wird.
  2. Laufen:

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. Das bearbeitete Bild wird automatisch gespeichert.
• FinesseDie Maske kann mit dem Zeichenwerkzeug erstellt werden, um sicherzustellen, dass der Bereich frei ist.

Erzeugung von Referenzbildern

• Verfahren::
  1. Vorbereiten von Referenzbildern (z. B. ref.jpg).
  2. Geben Sie eine Beschreibung ein, z. B. "Präriejunge, gleichen Stil beibehalten".
  3. Laufen:

     python infer_lora.py --ref ref.jpg --prompt "a boy on the grassland in the same style"
     

  4. Die Ergebnisse sind im Stil der Referenzabbildung gehalten.
• AnregungReferenztabellen funktionieren am besten, wenn der Stil eindeutig ist.

ComfyUI verwenden

• ComfyUI installieren::
  1. ComfyUI herunterladen:

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. Setzen Sie das ACE++ Modell in die ComfyUI/models Mappe.
  3. Start:

     cd ComfyUI
     python main.py
     

• Rigg::
  1. Öffnen Sie Ihren Browser und besuchen Sie http://localhost:8188.
  2. Importieren Sie den ACE++-Workflow (der sich im Verzeichnis workflow/ComfyUI-ACE_Plus).
  3. Laden Sie ein Bild hoch oder geben Sie Text ein, passen Sie die Parameter entsprechend den Anweisungen auf der Benutzeroberfläche an und klicken Sie auf Ausführen.
• BlickwinkelDie grafische Oberfläche ist für Einsteiger geeignet und intuitiver zu bedienen.

Maßgeschneiderte Ausbildung

• Daten vorbereiten::
  1. Beratung data/train.csvBereiten Sie die Trainingsdaten in diesem Format vor:

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. Feldbeschreibung: Editorial Task Fill edit_image im Gesang antworten maskReferenz Generation Fill ref_image.
• Lauftraining::
  1. konfigurieren. train_config/ace_plus_lora.yamlund stellen die Parameter ein.
  2. Laufen:

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. Das Trainingsmodell wird in der Datei examples/exp_example.

Featured Function Bedienung

LoRA-Modellwechsel

• Methodologien::
  1. Setzen von Umgebungsvariablen, z.B. bei Porträtmodellen:

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. in Bewegung sein infer_lora.pyDie Wirkung ist eher auf die Optimierung des Porträts ausgerichtet.
• verwenden.Porträtmodelle eignen sich für Gesichter, Objektmodelle für Gegenstände und lokale Bearbeitungsmodelle für regionale Anpassungen.

Verwendung des FFT-Modells

• Methodologien::
  1. Einstellung:

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. Laufen:

     python infer_fft.py
     

• BesonderheitenUnterstützt mehr Aufgaben, aber die Leistung ist möglicherweise nicht so stabil wie bei LoRA, geeignet für akademische Forschung.

Fortgeschrittene Anwendungen

• Gesichtstransplantation::
  1. Bereiten Sie Referenzgesichter und Zielbilder vor.
  2. ComfyUI verwenden Arbeitsablauf ACE_Plus_FFT_workflow_referenceediting_generation.jsonGeben Sie einen Befehl wie "Mann mit Kamera" ein.
• Superauflösung::
  1. Kosten oder Aufwand ACE_Plus_FFT_workflow_no_preprocess.jsongeben Sie ein Diagramm in niedriger Auflösung und eine Beschreibung ein.
  2. Gibt hochauflösende Bilder aus.

Anwendungsszenario

1. Personalisierter Avatarentwurf
   Die Nutzer geben eine Beschreibung ein oder laden ein Foto hoch, um einen Cartoon-Avatar zu erstellen, z. B. "Lächelndes Mädchen mit Brille".
2. Optimierung von E-Commerce-Produkten
   Die Händler bearbeiten die Produktbilder, indem sie beispielsweise die Kleidung blau färben und Hintergründe hinzufügen, um die Kaufrate zu erhöhen.
3. Filmplakat-Produktion
   Ersetzen Sie die Gesichter der Schauspieler mit der Face Swap-Funktion oder passen Sie Plakatelemente an, um schnell kreative Designs zu erstellen.

QA

1. Ist ACE++ kostenlos?
   Ja, ACE++ ist ein Open-Source-Projekt, dessen Code und Modelle auf GitHub frei zum Download zur Verfügung stehen.
2. Was ist, wenn ich einen Laufzeitfehler erhalte?
   Überprüfen Sie die Python-Version, die Installation der Abhängigkeiten und den Modellpfad. Wenn Sie das Problem nicht lösen können, melden Sie es in GitHub Issues.
3. Was ist besser, das FFT-Modell oder das LoRA-Modell?
   Das LoRA-Modell ist bei spezifischen Aufgaben stabiler, das FFT-Modell ist allgemeiner, aber die Leistung kann sich verschlechtern; es wird empfohlen, je nach den Anforderungen zu wählen.