Stable Diffusion WebUI Forge: Optimierte und beschleunigte Bilderzeugungsmodelle

Allgemeine Einführung

Die Stable Diffusion WebUI Forge ist eine Plattform, die auf der Stable Diffusion WebUI (Gradio-Version) aufbaut, um den Entwicklungsprozess zu vereinfachen, die Ressourcenverwaltung zu optimieren und die Inferenzverarbeitung zu beschleunigen. Sie bietet eine Reihe von Beschleunigungen und Optimierungen, die in der ursprünglichen WebUI nicht zu finden sind. Zu den von Forge unterstützten Funktionen gehören die Beschleunigung des GPU-Reasonings, die Optimierung der Ressourcenverwaltung, neue Möglichkeiten zur Vereinfachung der Integration von UNet-Patches, erweiterte Entwicklungsmöglichkeiten und automatisierte Ressourcenverwaltung. Darüber hinaus haben die Entwickler Beispiele für ControlNet-Erweiterungen bereitgestellt, die den Benutzern bei der Entwicklung ihrer eigenen Funktionen helfen.

Funktionsliste

GPU-Beschleunigung der Inferenz
Optimierung der Ressourcenverwaltung
UNet-Patches: ein neuer Ansatz zur Integration
Einfache Entwicklung von Erweiterungen
Automatisierte Ressourcenverwaltung

Hilfe verwenden

Besuchen Sie das GitHub-Repository für den neuesten Code
Installation und Ausführung gemäß der Dokumentation
Bilderzeugung mit Stable Diffusion WebUI Forge
Entwicklung von benutzerdefinierten Erweiterungen mit UNet-Patches und ControlNet-Beispielen

Verglichen mit der ursprünglichen WebUI (für SDXL-Inferenz bei 1024px) können Sie die folgenden Geschwindigkeitssteigerungen erwarten:

Wenn Sie eine gängige GPU verwenden, z. B. 8 GB RAM, können Sie mit einer Steigerung der Inferenzgeschwindigkeit (it/s) von ~30~45% rechnen, der GPU-Spitzenspeicher (im Task-Manager) sinkt von ~700 MB auf 1,3 GB, die maximale Diffusionsauflösung (bei der kein Out-of-Memory auftritt) steigt um ~2 bis 3x, und die maximale Diffusionsstapelgröße (bei der kein Out-of-Memory auftritt) steigt um ~2 bis 3. Die maximale Diffusionsauflösung (bei der kein Out-of-Memory auftritt) erhöht sich um einen Faktor von etwa 2 bis 3, und die maximale Diffusionsstapelgröße (bei der kein Out-of-Memory auftritt) erhöht sich um einen Faktor von etwa 4 bis 6.

Wenn Sie einen weniger leistungsstarken Grafikprozessor (z. B. 6 GB RAM) verwenden, können Sie eine Erhöhung der Inferenzgeschwindigkeit (it/s) um ~60~75% erwarten, die GPU-Speicher-Spikes (im Task-Manager) sinken von ~800 MB auf 1,5 GB, die maximale Diffusionsauflösung (ohne Out-of-Memory-Ereignisse) erhöht sich um das ~3-fache und die maximale Diffusionsstapelgröße (ohne Out-of-Memory-Ereignisse) um Die maximale Diffusionsauflösung (ohne Out-of-Memory-Ereignisse) wird sich um etwa den Faktor 3 erhöhen, und die maximale Diffusionsstapelgröße (ohne Out-of-Memory-Ereignisse) wird sich um etwa den Faktor 4 erhöhen.

Wenn Sie eine Hochleistungs-GPU wie die 4090 mit 24 GB Videospeicher verwenden, können Sie eine Steigerung der Inferenzgeschwindigkeit (it/s) von etwa 3~6% erwarten, GPU-Speicher-Spikes (im Task-Manager) werden von etwa 1 GB auf 1,4 GB sinken, die maximale Diffusionsauflösung (keine Out-of-Memory-Ereignisse) wird sich um einen Faktor von etwa 1,6 erhöhen und die maximale Diffusions-Batchgröße (keine aus dem Speicher) erhöht sich um etwa das Doppelte.

Wenn Sie ControlNet mit SDXL verwenden, erhöht sich die maximale ControlNet-Anzahl (ohne Out-of-Memory) um etwa das Zweifache, und die Geschwindigkeit mit SDXL+ControlNet erhöht sich um etwa 30~45%.

Eine weitere sehr wichtige Änderung, die Forge mit sich bringt, ist der Unet Patcher. Durch die Verwendung des Unet Patchers können Methoden wie Self-Attention Guidance, Kohya High Res Fix, FreeU, StyleAlign, Hypertile, etc. in etwa 100 Zeilen Code implementiert werden. durch die Verwendung des Unet Patcher.

Dank Unet Patcher sind nun viele neue Dinge in Forge möglich und werden unterstützt, einschließlich SVD, Z123, maskierter Ip-Adapter, maskiertes Controlnet, Photomaker und mehr.

Kein Monkeypatching von UNet oder Konflikte mit anderen Erweiterungen mehr!

Forge hat auch eine Reihe von Samplern hinzugefügt, einschließlich, aber nicht beschränkt auf DDPM, DDPM Karras, DPM++ 2M Turbo, DPM++ 2M SDE Turbo, LCM Karras, Euler A Turbo und mehr (LCM ist seit 1.7.0 im Original-Webui enthalten).