IC-Light (V2): магия управления освещением изображения, управление светом, тенью и фоном изображения

Общее введение

IC-Light - это проект по управлению освещением изображений, целью которого является манипулирование эффектами освещения изображений с помощью продвинутых моделей искусственного интеллекта. Проект, разработанный Лвмином Чжаном и др., предоставляет две основные модели: модель пересвета с учетом текста и модель с учетом фона. Пользователи могут настроить освещение переднего плана изображения в соответствии с фоновым освещением с помощью простых текстовых подсказок или фоновых изображений, что позволяет добиться высокого качества композиции изображений и световых эффектов.

IC-Light V2 (демо) это ассортимент продукции, основанный на Флюс Модель IC-Light имеет 16-канальный VAE, собственное высокое разрешение и лучшие методы обучения, сохраняя гораздо больше деталей, чем SD1.5.

Опыт работы в Интернете: https://huggingface.co/spaces/lllyasviel/IC-Light

IC-Light V2 для моделей FLUX

Список функций

• Текстовые модели условного пересвета: Управление эффектами освещения изображения путем ввода текстовых подсказок.
• модель фоновых условий: Автоматически настраивает освещенность переднего плана на основе фонового изображения.
• Автоматическая загрузка моделей: Нет необходимости загружать модели вручную, система обрабатывает их автоматически.
• Несколько настроек освещения: Пользователь может выбирать различные направления и интенсивность света.
• Поддержка высокого разрешения: Поддерживает обработку изображений с высоким разрешением, сохраняя детали изображения.
• равномерный свет: Обеспечивает последовательное смешивание различных источников света для пространств HDR.

Использование помощи

Процесс установки

1. проект клонирования::

   git clone https://github.com/lllyasviel/IC-Light.git
   cd IC-Light
   

2. Создание и активация виртуальной среды::

   conda create -n iclight python=3.10
   conda activate iclight
   

3. Установка зависимостей::

   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
   pip install -r requirements.txt
   

Пересветка моделей с использованием текстовых условий

1. Запустите пример сценария::

   python gradio_demo.py
   

2. подсказка ввода: Введите текстовые подсказки в интерфейсе Gradio, например "красивая женщина, детальное лицо, теплая атмосфера, дома, спальня".
3. Выбор предпочтений освещения: Выберите необходимое направление света, например, "Влево".
4. Создание изображений: Нажмите кнопку Генерировать, чтобы просмотреть эффект скорректированного изображения.

Использование моделей фонового состояния

1. Запустите пример сценария::

   python gradio_demo_bg.py
   

2. Загрузите фоновое изображение: Загрузите фоновое изображение в интерфейсе Gradio.
3. Ввод подсказок на переднем плане: Введите описание изображения переднего плана, например, "красивый мужчина, кинематографическое освещение".
4. Создание изображений: Нажмите кнопку Генерировать, чтобы просмотреть эффект скорректированного изображения.

Дополнительные возможности

• фотометрическая равномерностьIC-Light обеспечивает согласованность света в пространстве HDR, что позволяет добиться естественного сочетания различных источников света.
• Сохранение деталей: Обеспечивает высокую детализацию и разрешение изображений с помощью 16-канальной модели VAE.
• стиль: Поддержка обработки стилизованных изображений с сохранением оригинального художественного стиля.

общие проблемы

• Как вы обрабатываете снимки при слабом освещении? Используя модель состояния фона, введите описание изображения, полученного в условиях недостаточной освещенности, и система автоматически настроит освещение.
• Поддерживает ли она коммерческое использование? Текущая версия предназначена только для некоммерческого использования. Для коммерческого использования, пожалуйста, свяжитесь с командой разработчиков для получения лицензии.

IC-Light - инсталлятор с одним щелчком мыши, распаковывающий пароль и развертывание колаборатории:

https://colab.research.google.com/drive/1RDxmqrTBg2QZeIRtxRW6h-teQRn50hN2?usp=sharing
niugee51 или niugee22