Allgemeine Einführung
ACE++ ist ein Open-Source-Projekt, das vom ali-vilab-Team im Alibaba Tongyi Lab entwickelt wurde. Es basiert auf FLUX.1-Fill-dev-Modell, das die Erzeugung und Bearbeitung von Bildern durch einfache Textbefehle ermöglicht. Das Projekt vereint Referenzbilderzeugung, lokale Bearbeitung und kontrollierte Erzeugung in einem einzigen Framework und bietet drei LoRA-Modelle (Porträt, Objekt, lokale Bearbeitung) und ein allgemeineres FFT-Modell. Der Code und die Modelle können kostenlos von GitHub heruntergeladen werden und wurden zuletzt am 11. März 2025 aktualisiert. ACE++ ist für Entwickler, Designer und allgemeine Benutzer geeignet und unterstützt sowohl Befehlszeilenoperationen als auch die Möglichkeit, Bilder auf dem ComfyUI Verwendung in.
ACE++ hat keine nennenswerten Defizite in Bezug auf Face-Swapping und Dressing im Vergleich zu dedizierten Tools, dank der kürzlich eingeführten Zwilling 2.0 Flash Sehr hell, auch die wichtigsten Text-Befehlssteuerung Bild lokale Bearbeitung, können sie zwei Effekte durch sich selbst verglichen werden.
Funktionsliste
- Befehl zur Erzeugung eines BildesGeben Sie eine Textbeschreibung ein, um ein neues Bild zu erstellen, z. B. "Ein Mädchen in einer Polizeiuniform".
- Lokale BildbearbeitungÄndern Sie bestimmte Bereiche eines Bildes, z. B. durch Ersetzen des Hintergrunds oder Anpassen der Kleidung.
- Erzeugung von ReferenzbildernErzeugen einer neuen Zeichnung mit ähnlichem Stil auf der Grundlage einer Referenzzeichnung.
- Multimodell-AuswahlDrei LoRA-Modelle für Porträts, Objekte, lokale Bearbeitung und ein FFT-Modell sind verfügbar.
- ComfyUI-UnterstützungVereinfachter Arbeitsablauf durch grafische Benutzeroberfläche.
- Maßgeschneiderte AusbildungBenutzer können Modelle mit ihren eigenen Daten trainieren, die an bestimmte Aufgaben angepasst sind.
- Erweiterte FunktionenErweiterte Anwendungen wie Superresolution, Face Swap, Objektersatz usw. werden unterstützt.
Hilfe verwenden
Ablauf der Installation
ACE++ benötigt eine konfigurierte Umgebung, um ausgeführt werden zu können. Im Folgenden werden die einzelnen Schritte beschrieben:
- Vorbereiten der Umgebung
- Stellen Sie sicher, dass Python 3.8 oder höher auf Ihrem Computer installiert ist und dass Sie die
python --version
Prüfen. - Um Git zu installieren, laden Sie es für Windows-Benutzer von der Website herunter und führen Sie es für Mac-Benutzer aus.
brew install git
. - NVIDIA-Grafikprozessoren mit mindestens 12 GB RAM werden empfohlen, CPUs können laufen, sind aber langsam.
- Stellen Sie sicher, dass Python 3.8 oder höher auf Ihrem Computer installiert ist und dass Sie die
- Code herunterladen
- Öffnen Sie ein Terminal und führen Sie es aus:
git clone https://github.com/ali-vilab/ACE_plus.git cd ACE_plus
- Dadurch wird das Projekt lokal heruntergeladen.
- Öffnen Sie ein Terminal und führen Sie es aus:
- Installation von Abhängigkeiten
- Geben Sie den Befehl zur Installation der erforderlichen Bibliotheken ein:
pip install -r repo_requirements.txt
- Wenn Sie Probleme mit den Berechtigungen haben, fügen Sie
-- Benutzer
Parameter.
- Geben Sie den Befehl zur Installation der erforderlichen Bibliotheken ein:
- Modelle herunterladen
- ACE++ stützt sich auf das FLUX.1-Fill-dev-Modell, um Umgebungsvariablen zu setzen:
export FLUX_FILL_PATH="hf://schwarzwald-labs/FLUX.1-Fill-dev"
- LoRA-Modell herunterladen (optional):
export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors" export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors" export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
- FFT-Modell (optional):
export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
- Sie kann manuell von Hugging Face oder ModelScope heruntergeladen und im Projektverzeichnis abgelegt werden.
- ACE++ stützt sich auf das FLUX.1-Fill-dev-Modell, um Umgebungsvariablen zu setzen:
- Testlauf
- Führen Sie den folgenden Befehl aus, um die Umgebung zu überprüfen:
python infer_lora.py
- Wenn die Ausgabe normal ist, war die Installation erfolgreich.
- Führen Sie den folgenden Befehl aus, um die Umgebung zu überprüfen:
Verwendung der wichtigsten Funktionen
Befehl zur Erzeugung eines Bildes
- Verfahren::
- Geben Sie eine Textbeschreibung ein, z. B. "eine alte weiße Eule".
- Laufen:
python infer_lora.py --prompt "1 weiß alt Eule"
- Die Ergebnisse werden in der Datei
Ausgabe
Mappe.
- auf etw. aufmerksam machenJe detaillierter die Beschreibung, desto besser die Ergebnisse. Das FFT-Modell ist für komplexe Aufgaben geeignet.
Lokale Bildbearbeitung
- Verfahren::
- Bereiten Sie Bilder vor (z. B.
beispiel.jpg
) und Maske (z. B.maske.png
), wodurch der weiße Bereich für den Bearbeitungsbereich maskiert wird. - Laufen:
python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
- Das bearbeitete Bild wird automatisch gespeichert.
- Bereiten Sie Bilder vor (z. B.
- FähigkeitenDie Maske kann mit dem Zeichenwerkzeug erstellt werden, um sicherzustellen, dass der Bereich frei ist.
Erzeugung von Referenzbildern
- Verfahren::
- Vorbereiten von Referenzbildern (z. B.
ref.jpg
). - Geben Sie eine Beschreibung ein, z. B. "Präriejunge, gleichen Stil beibehalten".
- Laufen:
python infer_lora.py --ref ref.jpg --prompt "ein Junge auf der Wiese im gleichen Stil"
- Die Ergebnisse sind im Stil der Referenzabbildung gehalten.
- Vorbereiten von Referenzbildern (z. B.
- AnregungReferenztabellen funktionieren am besten, wenn der Stil eindeutig ist.
ComfyUI verwenden
- ComfyUI installieren::
- ComfyUI herunterladen:
git clone https://github.com/comfyanonymous/ComfyUI.git
- Setzen Sie das ACE++ Modell in die
ComfyUI/Modelle
Mappe. - Einweihung:
cd ComfyUI python main.py
- ComfyUI herunterladen:
- Rigg::
- Öffnen Sie Ihren Browser und besuchen Sie
http://localhost:8188
. - Importieren Sie den ACE++-Workflow (der sich im Verzeichnis
Arbeitsablauf/ComfyUI-ACE_Plus
). - Laden Sie ein Bild hoch oder geben Sie Text ein, passen Sie die Parameter entsprechend den Anweisungen auf der Benutzeroberfläche an und klicken Sie auf Ausführen.
- Öffnen Sie Ihren Browser und besuchen Sie
- BlickwinkelDie grafische Oberfläche ist für Einsteiger geeignet und intuitiver zu bedienen.
Maßgeschneiderte Ausbildung
- Daten vorbereiten::
- Beratung
daten/train.csv
Bereiten Sie die Trainingsdaten in diesem Format vor:edit_image,edit_mask,ref_image,target_image,prompt,data_type
- Feldbeschreibung: Editorial Task Fill
edit_image
im Gesang antwortenMaske
Referenz Generation Fillref_image
.
- Beratung
- Lauftraining::
- konfigurieren.
train_config/ace_plus_lora.yaml
stellen Sie die Parameter ein. - Laufen:
python run_train.py --cfg train_config/ace_plus_lora.yaml
- Das Trainingsmodell wird in der Datei
Beispiele/exp_example
.
- konfigurieren.
Featured Function Bedienung
LoRA-Modellwechsel
- Methodologien::
- Setzen von Umgebungsvariablen, z.B. bei Porträtmodellen:
export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
- in Bewegung sein
infer_lora.py
Die Wirkung ist eher auf die Optimierung des Porträts ausgerichtet.
- Setzen von Umgebungsvariablen, z.B. bei Porträtmodellen:
- verwenden.Porträtmodelle eignen sich für Gesichter, Objektmodelle für Gegenstände und lokale Bearbeitungsmodelle für regionale Anpassungen.
Verwendung des FFT-Modells
- Methodologien::
- Einstellung:
export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
- Laufen:
python infer_fft.py
- Einstellung:
- BesonderheitenUnterstützt mehr Aufgaben, aber die Leistung ist möglicherweise nicht so stabil wie bei LoRA, geeignet für akademische Forschung.
Fortgeschrittene Anwendungen
- Gesichtstransplantation::
- Bereiten Sie Referenzgesichter und Zielbilder vor.
- ComfyUI verwenden Arbeitsablauf
ACE_Plus_FFT_workflow_referenceediting_generation.json
Eingabe von Befehlen wie "Mann vor Kamera".
- Superauflösung::
- Kosten oder Aufwand
ACE_Plus_FFT_workflow_no_preprocess.json
geben Sie ein Diagramm in niedriger Auflösung und eine Beschreibung ein. - Gibt hochauflösende Bilder aus.
- Kosten oder Aufwand
Anwendungsszenario
- Personalisierter Avatarentwurf
Die Nutzer geben eine Beschreibung ein oder laden ein Foto hoch, um einen Cartoon-Avatar zu erstellen, z. B. "Lächelndes Mädchen mit Brille". - Optimierung von E-Commerce-Produkten
Die Händler bearbeiten die Produktbilder, indem sie beispielsweise die Kleidung blau färben und Hintergründe hinzufügen, um die Kaufrate zu erhöhen. - Filmplakat-Produktion
Ersetzen Sie die Gesichter der Schauspieler mit der Face Swap-Funktion oder passen Sie Plakatelemente an, um schnell kreative Designs zu erstellen.
QA
- Ist ACE++ kostenlos?
Ja, ACE++ ist ein Open-Source-Projekt, dessen Code und Modelle auf GitHub frei zum Download zur Verfügung stehen. - Was ist, wenn ich einen Laufzeitfehler erhalte?
Überprüfen Sie die Python-Version, die Installation der Abhängigkeiten und den Modellpfad. Wenn Sie das Problem nicht beheben können, reichen Sie es in GitHub Issues ein. - Was ist besser, das FFT-Modell oder das LoRA-Modell?
Das LoRA-Modell ist bei spezifischen Aufgaben stabiler, das FFT-Modell ist allgemeiner, aber die Leistung kann sich verschlechtern; es wird empfohlen, je nach den Anforderungen zu wählen.