OmniGen: унифицированная модель генерации изображений с мультимодальными входами для создания изображений, соответствующих персонажам

Общее введение

OmniGen - это "универсальная" модель генерации изображений, разработанная компанией VectorSpaceLab, которая позволяет пользователям создавать разнообразные и контекстуально насыщенные визуальные образы с помощью простых текстовых подсказок или мультимодального ввода. Она особенно хорошо подходит для сцен, требующих идентификации персонажей и их последовательной визуализации. Пользователи могут загружать до трех изображений и генерировать высококачественные изображения с подробными подсказками. Кроме того, OmniGen поддерживает редактирование ранее сгенерированных изображений, обеспечивая гибкие возможности по загрузке, подходящие для доработки изображений и экспериментов.

OmniGen не требует дополнительных плагинов или операций для автоматического распознавания особенностей входного изображения и генерации требуемого изображения. Существующие модели генерации изображений обычно требуют загрузки нескольких дополнительных сетевых модулей (например, ControlNet, IP-Adapter, Reference-Net и т. д.) и выполнения дополнительных шагов предварительной обработки (например, обнаружения лиц, оценки позы, обрезки и т. д.) для создания удовлетворительных изображений. Однако мы считаем, что будущие парадигмы генерации изображений должны быть более простыми и гибкими, т. е. генерировать различные изображения непосредственно из произвольных мультимодальных инструкций без дополнительных плагинов и операций, подобно тому, как GPT работает в генерации языков.

Список функций

• Генерация изображений: Генерируйте различные изображения с помощью текстовых подсказок или мультимодального ввода.
• Создание персонализированных изображений: Загрузите до трех изображений, чтобы создать индивидуальное изображение.
• рендеринг символов (вычислительная техника): Сохраняет последовательность и узнаваемость персонажей и подходит для сценариев, где требуется идентификация персонажей.
• редактирование изображений: Редактирование ранее созданных изображений обеспечивает гибкие возможности посева.
• Формирование условий изображения: Генерирование нового изображения на основе конкретных условий входного изображения.
• Высокое качество продукции: Подробные советы по созданию более четких и качественных изображений.

Использование помощи

1. Загрузить фотографию: Загрузите до трех изображений в интерфейс OmniGen, которые могут быть картами персонажей, предметов или условий.
2. Опишите изображение: Подробно опишите изображение, которое вы хотите сгенерировать, в поле запроса. Для разделов, включающих элементы изображения, используйте формат <img><|image_i|></img> Представьте их друг другу.
3. Параметры настройки: Настройте параметры генерации OmniGen, например масштаб изображения, в настройках. Остальные параметры рекомендуется оставить по умолчанию.
4. Создание изображений: Нажмите кнопку Generate, чтобы перейти в очередь и дождаться, пока изображение будет сгенерировано.
5. Редактировать изображениеРедактирование и доработка полученного изображения с помощью функции посева OmniGen.

Совет:

• Для задач редактирования изображений и задач сети управления рекомендуется устанавливать высоту и ширину выходного изображения такими же, как у входного. Например, если вы хотите отредактировать изображение размером 512x512, вам следует установить высоту и ширину выходного изображения равными 512x512. Вы также можете установить значение use_input_image_size_as_output чтобы автоматически выровнять высоту и ширину выходного изображения с входным.
• Если вы испытываете недостаток памяти или нехватку времени, вы можете установить параметр offload_model=Trueили ссылка . /docs/inference.md#requiremented-resources Выберите соответствующие настройки.
• При вводе нескольких изображений, если время вывода слишком велико, попробуйте уменьшить max_input_image_size. Для получения подробной информации, пожалуйста, обратитесь к . /docs/inference.md#requiremented-resources.
• Перенасыщенность: если изображение выглядит перенасыщенным, уменьшите значение guidance_scale.
• Низкое качество: более подробные слова подсказки дали бы лучшие результаты.
• Стиль аниме: Если сгенерированное изображение представляет собой стиль аниме, вы можете попробовать добавить в подсказку слово photo.
• Редактирование сгенерированных изображений: Если вы сгенерировали изображение с помощью omnigen, а затем хотите его отредактировать, вы не сможете сделать это с тем же seed. Например, если изображение было сгенерировано с seed=0, редактировать его следует с seed=1.
• Для задач редактирования изображений рекомендуется помещать изображение перед командой редактирования. Например, при использовании команды <img><|image_1|></img> remove suitВместо remove suit <img><|image_1|></img>.

Онлайн-доступ к OmniGen и пакет для установки одним щелчком мыши

Официальный сайт для онлайн использования: aiomnigen.comComfyui

Node: github.com/AIFSH/OmniGen-ComfyUIOmniGen

Пакет установки одним щелчком: pan.quark.cn/s/a1fd7d5298f9

Сценарии применения OmniGen More

редактирование изображений

OmniGen обладает хорошими возможностями редактирования изображений, а также может создавать текст на изображениях.

Генерация заданных символов

OmniGen схож с такими моделями, как InstandID, Pulid и т. д., в своей способности генерировать изображения, соответствующие роли и т. д., т. е. вводить изображение с одним объектом, понимать и выполнять инструкции, и выводить новое изображение на основе этого объекта.

В отличие от InstandID и Pulid, OmniGen может задавать генерацию из нескольких символов.

Отпечатки пальцев создаются от имени

Это самая уникальная особенность OmniGen: возможность определить объект, на который ссылается команда, и сгенерировать новое изображение из изображения, содержащего несколько объектов.

OmniGen просто находит целевой объект на нескольких изображениях (можно выбрать до 3 изображений) на основе команд с подсказками и генерирует новое изображение, соответствующее командам, без каких-либо дополнительных модулей или операций.

Генерация общих условий изображения

Это способность OmniGen поддерживать ControlNet-подобную генерацию изображений на основе определенных условий. В настоящее время она в основном основана на скелете эталонного персонажаOpenposeгенерация, а другая возможность генерировать из эталонного персонажа карту глубины.

В отличие от основных моделей диаграмм Венна, которые требуют Controlnet для контроля условий, OmniGen завершает весь процесс ControlNet с помощью одной модели: OmniGen напрямую извлекает визуальные условия из исходной диаграммы и генерирует изображение на основе извлеченных условий без необходимости использования дополнительного процессора. Более того, OmniGen генерирует изображение на основе опорного изображения и подсказок одним щелчком мыши, в отличие от ControlNet, где сначала нужно сгенерировать скелет или карту глубины.

Другие функции компонентов управления

В дополнение к вышеупомянутой функции OmniGen 1.0, официальный представитель также сообщил, что OmniGen имеет больше возможностей, таких как больше функций Controlnet, линии, генерация мягкого края и так далее.

Классические задачи компьютерного зрения

Обесцвечивание изображений, определение краев, оценка положения и т.д.

Даже как LLM имеет определенную способность к контекстному обучению (In-context Learning), в зависимости от понимания операции.