Stable Diffusion WebUI Forge: оптимизированные и ускоренные модели генерации изображений

Общее введение

Stable Diffusion WebUI Forge - это платформа, созданная на основе Stable Diffusion WebUI (версия Gradio) для упрощения процесса разработки, оптимизации управления ресурсами и ускорения обработки выводов. Она обеспечивает ряд ускорений и оптимизаций, которых нет в оригинальном WebUI. Среди функций, поддерживаемых Forge, - ускорение обработки выводов на GPU, оптимизация управления ресурсами, новые способы упрощения интеграции патчей UNet, расширенное удобство разработки и автоматизированное управление ресурсами. Кроме того, разработчики предоставили примеры расширений ControlNet, чтобы помочь пользователям разработать свои собственные функции.

Список функций

Ускорение вывода на GPU
Оптимизация управления ресурсами
Патчи UNet: новый подход к интеграции
Простота разработки расширений
Автоматизированное управление ресурсами

Использование помощи

Посетите репозиторий GitHub для получения последней версии кода
Установите и запустите в соответствии с документацией
Генерация изображений с помощью стабильной диффузии WebUI Forge
Разработка пользовательских расширений с помощью патчей UNet и примеров ControlNet

По сравнению с оригинальным WebUI (для вывода SDXL при разрешении 1024px), вы можете ожидать следующих ускорений:

Если вы используете обычный GPU, например, с 8 ГБ оперативной памяти, вы можете ожидать увеличения скорости вывода (it/s) на ~30~45%, пиковая память GPU (в диспетчере задач) снизится с ~700 МБ до 1,3 ГБ, максимальное разрешение диффузии (при котором не происходит выхода за пределы памяти) увеличится в ~2-3 раза, а максимальный размер партии диффузии (при котором не происходит выхода за пределы памяти) Максимальное разрешение диффузии (без использования памяти) увеличится примерно в 2-3 раза, а максимальный размер партии диффузии (без использования памяти) увеличится примерно в 4-6 раз.

Если вы используете менее производительный GPU, например, с 6 ГБ оперативной памяти, вы можете ожидать увеличения скорости вывода (it/s) на ~60~75%, уменьшения объема памяти GPU (в диспетчере задач) с ~800 МБ до 1,5 ГБ, увеличения максимального разрешения диффузии (без случаев выхода за пределы памяти) в ~3 раза, а максимального размера партии диффузии (без случаев выхода за пределы памяти) до Максимальное разрешение диффузии (без случаев выхода за пределы памяти) увеличится примерно в 3 раза, а максимальный размер пакета диффузии (без случаев выхода за пределы памяти) увеличится примерно в 4 раза.

Если вы используете высокопроизводительный GPU, такой как 4090 с 24 ГБ видеопамяти, вы можете ожидать увеличения скорости вывода (it/s) примерно на 3~6%, пиковой памяти GPU (в диспетчере задач) с 1 ГБ до 1,4 ГБ, максимального разрешения диффузии (без случаев выхода за пределы памяти) в 1,6 раза, а максимальный размер партии диффузии (без случаев выхода за пределы памяти) увеличится примерно в 2 раза. из памяти) увеличится примерно в 2 раза.

Если вы используете ControlNet с SDXL, максимальное количество ControlNet (без выхода за пределы памяти) увеличится примерно в 2 раза, а скорость работы с SDXL+ControlNet увеличится примерно на 30~45%.

Еще одно очень важное изменение, привнесенное Forge, - это Unet Patcher. С помощью Unet Patcher такие методы, как Self-Attention Guidance, Kohya High Res Fix, FreeU, StyleAlign, Hypertile и т. д., могут быть реализованы примерно в 100 строках кода. с помощью Unet Patcher.

Благодаря Unet Patcher в Forge стало возможным и поддерживается множество новых вещей, включая SVD, Z123, маскированный Ip-адаптер, маскированный controlnet, photomaker и многое другое.

Больше никаких обезьяньих патчей UNet или конфликтов с другими расширениями!

В Forge также добавлен ряд семплеров, включая, но не ограничиваясь, DDPM, DDPM Karras, DPM++ 2M Turbo, DPM++ 2M SDE Turbo, LCM Karras, Euler A Turbo и другие (LCM был в оригинальном webui с 1.7.0).