ACE++: ein vielseitiges Open-Source-Tool für die präzise lokale Bearbeitung von Bildern mit Textbefehlen

Allgemeine Einführung

ACE++ ist ein Open-Source-Projekt, das vom ali-vilab-Team im Alibaba Tongyi Lab entwickelt wurde. Es basiert auf FLUX.1-Fill-dev-Modell, das die Erzeugung und Bearbeitung von Bildern durch einfache Textbefehle ermöglicht. Das Projekt vereint Referenzbilderzeugung, lokale Bearbeitung und kontrollierte Erzeugung in einem einzigen Framework und bietet drei LoRA-Modelle (Porträt, Objekt, lokale Bearbeitung) und ein allgemeineres FFT-Modell. Der Code und die Modelle können kostenlos von GitHub heruntergeladen werden und wurden zuletzt am 11. März 2025 aktualisiert. ACE++ ist für Entwickler, Designer und allgemeine Benutzer geeignet und unterstützt sowohl Befehlszeilenoperationen als auch die Möglichkeit, Bilder auf dem ComfyUI Verwendung in.

ACE++ hat keine nennenswerten Defizite in Bezug auf Face-Swapping und Dressing im Vergleich zu dedizierten Tools, dank der kürzlich eingeführten Zwilling 2.0 Flash Sehr hell, auch die wichtigsten Text-Befehlssteuerung Bild lokale Bearbeitung, können sie zwei Effekte durch sich selbst verglichen werden.

Funktionsliste

• Befehl zur Erzeugung eines BildesGeben Sie eine Textbeschreibung ein, um ein neues Bild zu erstellen, z. B. "Ein Mädchen in einer Polizeiuniform".
• Lokale BildbearbeitungÄndern Sie bestimmte Bereiche eines Bildes, z. B. durch Ersetzen des Hintergrunds oder Anpassen der Kleidung.
• Erzeugung von ReferenzbildernErzeugen einer neuen Zeichnung mit ähnlichem Stil auf der Grundlage einer Referenzzeichnung.
• Multimodell-AuswahlDrei LoRA-Modelle für Porträts, Objekte, lokale Bearbeitung und ein FFT-Modell sind verfügbar.
• ComfyUI-UnterstützungVereinfachter Arbeitsablauf durch grafische Benutzeroberfläche.
• Maßgeschneiderte AusbildungBenutzer können Modelle mit ihren eigenen Daten trainieren, die an bestimmte Aufgaben angepasst sind.
• Erweiterte FunktionenErweiterte Anwendungen wie Superresolution, Face Swap, Objektersatz usw. werden unterstützt.

Hilfe verwenden

Ablauf der Installation

ACE++ benötigt eine konfigurierte Umgebung, um ausgeführt werden zu können. Im Folgenden werden die einzelnen Schritte beschrieben:

1. Vorbereiten der Umgebung
   • Stellen Sie sicher, dass Python 3.8 oder höher auf Ihrem Computer installiert ist und dass Sie die python --version Prüfen.
   • Um Git zu installieren, laden Sie es für Windows-Benutzer von der Website herunter und führen Sie es für Mac-Benutzer aus. brew install git.
   • NVIDIA-Grafikprozessoren mit mindestens 12 GB RAM werden empfohlen, CPUs können laufen, sind aber langsam.
2. Code herunterladen
   • Öffnen Sie ein Terminal und führen Sie es aus:

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • Dadurch wird das Projekt lokal heruntergeladen.
3. Installation von Abhängigkeiten
   • Geben Sie den Befehl zur Installation der erforderlichen Bibliotheken ein:

     pip install -r repo_requirements.txt
     

   • Wenn Sie Probleme mit den Berechtigungen haben, fügen Sie -- Benutzer Parameter.
4. Modelle herunterladen
   • ACE++ stützt sich auf das FLUX.1-Fill-dev-Modell, um Umgebungsvariablen zu setzen:

     export FLUX_FILL_PATH="hf://schwarzwald-labs/FLUX.1-Fill-dev"
     

   • LoRA-Modell herunterladen (optional):

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • FFT-Modell (optional):

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Sie kann manuell von Hugging Face oder ModelScope heruntergeladen und im Projektverzeichnis abgelegt werden.
5. Testlauf
   • Führen Sie den folgenden Befehl aus, um die Umgebung zu überprüfen:

     python infer_lora.py
     

   • Wenn die Ausgabe normal ist, war die Installation erfolgreich.

Verwendung der wichtigsten Funktionen

Befehl zur Erzeugung eines Bildes

• Verfahren::
  1. Geben Sie eine Textbeschreibung ein, z. B. "eine alte weiße Eule".
  2. Laufen:

     python infer_lora.py --prompt "1 weiß alt Eule"
     

  3. Die Ergebnisse werden in der Datei Ausgabe Mappe.
• auf etw. aufmerksam machenJe detaillierter die Beschreibung, desto besser die Ergebnisse. Das FFT-Modell ist für komplexe Aufgaben geeignet.

Lokale Bildbearbeitung

• Verfahren::
  1. Bereiten Sie Bilder vor (z. B. beispiel.jpg) und Maske (z. B. maske.png), wodurch der weiße Bereich für den Bearbeitungsbereich maskiert wird.
  2. Laufen:

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. Das bearbeitete Bild wird automatisch gespeichert.
• FähigkeitenDie Maske kann mit dem Zeichenwerkzeug erstellt werden, um sicherzustellen, dass der Bereich frei ist.

Erzeugung von Referenzbildern

• Verfahren::
  1. Vorbereiten von Referenzbildern (z. B. ref.jpg).
  2. Geben Sie eine Beschreibung ein, z. B. "Präriejunge, gleichen Stil beibehalten".
  3. Laufen:

     python infer_lora.py --ref ref.jpg --prompt "ein Junge auf der Wiese im gleichen Stil"
     

  4. Die Ergebnisse sind im Stil der Referenzabbildung gehalten.
• AnregungReferenztabellen funktionieren am besten, wenn der Stil eindeutig ist.

ComfyUI verwenden

• ComfyUI installieren::
  1. ComfyUI herunterladen:

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. Setzen Sie das ACE++ Modell in die ComfyUI/Modelle Mappe.
  3. Einweihung:

     cd ComfyUI
     python main.py
     

• Rigg::
  1. Öffnen Sie Ihren Browser und besuchen Sie http://localhost:8188.
  2. Importieren Sie den ACE++-Workflow (der sich im Verzeichnis Arbeitsablauf/ComfyUI-ACE_Plus).
  3. Laden Sie ein Bild hoch oder geben Sie Text ein, passen Sie die Parameter entsprechend den Anweisungen auf der Benutzeroberfläche an und klicken Sie auf Ausführen.
• BlickwinkelDie grafische Oberfläche ist für Einsteiger geeignet und intuitiver zu bedienen.

Maßgeschneiderte Ausbildung

• Daten vorbereiten::
  1. Beratung daten/train.csvBereiten Sie die Trainingsdaten in diesem Format vor:

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. Feldbeschreibung: Editorial Task Fill edit_image im Gesang antworten MaskeReferenz Generation Fill ref_image.
• Lauftraining::
  1. konfigurieren. train_config/ace_plus_lora.yamlstellen Sie die Parameter ein.
  2. Laufen:

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. Das Trainingsmodell wird in der Datei Beispiele/exp_example.

Featured Function Bedienung

LoRA-Modellwechsel

• Methodologien::
  1. Setzen von Umgebungsvariablen, z.B. bei Porträtmodellen:

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. in Bewegung sein infer_lora.pyDie Wirkung ist eher auf die Optimierung des Porträts ausgerichtet.
• verwenden.Porträtmodelle eignen sich für Gesichter, Objektmodelle für Gegenstände und lokale Bearbeitungsmodelle für regionale Anpassungen.

Verwendung des FFT-Modells

• Methodologien::
  1. Einstellung:

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. Laufen:

     python infer_fft.py
     

• BesonderheitenUnterstützt mehr Aufgaben, aber die Leistung ist möglicherweise nicht so stabil wie bei LoRA, geeignet für akademische Forschung.

Fortgeschrittene Anwendungen

• Gesichtstransplantation::
  1. Bereiten Sie Referenzgesichter und Zielbilder vor.
  2. ComfyUI verwenden Arbeitsablauf ACE_Plus_FFT_workflow_referenceediting_generation.jsonEingabe von Befehlen wie "Mann vor Kamera".
• Superauflösung::
  1. Kosten oder Aufwand ACE_Plus_FFT_workflow_no_preprocess.jsongeben Sie ein Diagramm in niedriger Auflösung und eine Beschreibung ein.
  2. Gibt hochauflösende Bilder aus.

Anwendungsszenario

1. Personalisierter Avatarentwurf
   Die Nutzer geben eine Beschreibung ein oder laden ein Foto hoch, um einen Cartoon-Avatar zu erstellen, z. B. "Lächelndes Mädchen mit Brille".
2. Optimierung von E-Commerce-Produkten
   Die Händler bearbeiten die Produktbilder, indem sie beispielsweise die Kleidung blau färben und Hintergründe hinzufügen, um die Kaufrate zu erhöhen.
3. Filmplakat-Produktion
   Ersetzen Sie die Gesichter der Schauspieler mit der Face Swap-Funktion oder passen Sie Plakatelemente an, um schnell kreative Designs zu erstellen.

QA

1. Ist ACE++ kostenlos?
   Ja, ACE++ ist ein Open-Source-Projekt, dessen Code und Modelle auf GitHub frei zum Download zur Verfügung stehen.
2. Was ist, wenn ich einen Laufzeitfehler erhalte?
   Überprüfen Sie die Python-Version, die Installation der Abhängigkeiten und den Modellpfad. Wenn Sie das Problem nicht beheben können, reichen Sie es in GitHub Issues ein.
3. Was ist besser, das FFT-Modell oder das LoRA-Modell?
   Das LoRA-Modell ist bei spezifischen Aufgaben stabiler, das FFT-Modell ist allgemeiner, aber die Leistung kann sich verschlechtern; es wird empfohlen, je nach den Anforderungen zu wählen.