Stable Diffusion WebUI Forge : Modèles de génération d'images optimisés et accélérés

Introduction générale

L'interface Web de diffusion stable Forge est une plateforme construite sur l'interface Web de diffusion stable (version Gradio) afin de simplifier le processus de développement, d'optimiser la gestion des ressources et d'accélérer le traitement des inférences. Elle fournit un certain nombre d'accélérations et d'optimisations que l'on ne trouve pas dans l'interface WebUI d'origine. Les fonctionnalités prises en charge par Forge comprennent l'accélération du raisonnement par le GPU, l'optimisation de la gestion des ressources, de nouvelles façons de simplifier l'intégration des correctifs UNet, un confort de développement étendu et une gestion automatisée des ressources. En outre, les développeurs ont fourni des exemples d'extensions ControlNet pour aider les utilisateurs à développer leurs propres fonctionnalités.

Liste des fonctions

Accélération de l'inférence par le GPU
Optimisation de la gestion des ressources
Patchs UNet : une nouvelle approche de l'intégration
Développement facile d'extensions
Gestion automatisée des ressources

Utiliser l'aide

Visitez le dépôt GitHub pour le code le plus récent
Installer et exécuter conformément à la documentation
Génération d'images avec diffusion stable WebUI Forge
Développement d'extensions personnalisées à l'aide de correctifs UNet et d'exemples ControlNet

Par rapport à l'interface WebUI originale (pour l'inférence SDXL à 1024px), vous pouvez vous attendre aux accélérations suivantes :

Si vous utilisez un GPU courant, par exemple 8 Go de RAM, vous pouvez vous attendre à une augmentation de la vitesse d'inférence (it/s) de ~30~45%, la mémoire maximale du GPU (dans le gestionnaire des tâches) passera de ~700 Mo à 1,3 Go, la résolution de diffusion maximale (sans sortie de mémoire) augmentera de ~2x à 3x, et la taille maximale des lots de diffusion (sans sortie de mémoire) augmentera d'un facteur d'environ 2 à 3, et la taille maximale des lots de diffusion (sans sortie de mémoire) augmentera d'un facteur d'environ 4 à 6. La résolution maximale de diffusion (sans sortie de mémoire) augmentera d'un facteur d'environ 2 à 3, et la taille maximale des lots de diffusion (sans sortie de mémoire) augmentera d'un facteur d'environ 4 à 6.

Si vous utilisez un GPU moins performant comme 6 Go de RAM, vous pouvez vous attendre à une augmentation de la vitesse d'inférence (it/s) de ~60~75%, la mémoire GPU maximale (dans le gestionnaire de tâches) passera de ~800 Mo à 1,5 Go, la résolution de diffusion maximale (sans sorties de mémoire) augmentera de ~3x, et la taille maximale des lots de diffusion (sans sorties de mémoire) augmentera d'un facteur d'environ 3, et la taille maximale des lots de diffusion (sans sorties de mémoire) augmentera d'un facteur d'environ 4. La résolution maximale de diffusion (sans sortie de mémoire) sera multipliée par 3 environ, et la taille maximale des lots de diffusion (sans sortie de mémoire) sera multipliée par 4 environ.

Si vous utilisez un GPU haute performance comme le 4090 avec 24 Go de mémoire vidéo, vous pouvez vous attendre à une augmentation de la vitesse d'inférence (it/s) d'environ 3~6%, la mémoire maximale du GPU (dans le gestionnaire de tâches) passera d'environ 1 Go à 1,4 Go, la résolution de diffusion maximale (pas de sorties de mémoire) augmentera d'un facteur d'environ 1,6 et la taille maximale des lots de diffusion (pas de sorties de mémoire) augmentera d'environ 2 fois. sortie de mémoire) augmentera d'environ 2 fois.

Si vous utilisez ControlNet avec SDXL, le nombre maximum de ControlNet (sans sortie de mémoire) sera augmenté d'environ 2 fois, et la vitesse avec SDXL+ControlNet sera augmentée d'environ 30~45%.

Un autre changement très important apporté par Forge est le Unet Patcher, en utilisant le Unet Patcher, des méthodes comme Self-Attention Guidance, Kohya High Res Fix, FreeU, StyleAlign, Hypertile, etc. peuvent être implémentées en environ 100 lignes de code. en utilisant le Unet Patcher.

Grâce à Unet Patcher, beaucoup de nouvelles choses sont maintenant possibles et supportées dans Forge, y compris SVD, Z123, Ip-adapter masqué, controlnet masqué, photomaker et plus encore.

Plus de monkeypatching UNet ou de conflit avec d'autres extensions !

Forge a également ajouté un certain nombre d'échantillonneurs, y compris, mais sans s'y limiter, DDPM, DDPM Karras, DPM++ 2M Turbo, DPM++ 2M SDE Turbo, LCM Karras, Euler A Turbo, et plus encore (LCM est présent dans le webui original depuis la version 1.7.0).