ACE++: универсальный инструмент с открытым исходным кодом для точного локального редактирования изображений с помощью текстовых команд

Общее введение

ACE++ - это проект с открытым исходным кодом, разработанный командой ali-vilab в Alibaba Tongyi Lab. Он основан на FLUX.1-Fill-dev - модель, предназначенная для создания и редактирования изображений с помощью простых текстовых команд. Проект объединяет генерацию эталонных изображений, локальное редактирование и управляемую генерацию в рамках одного фреймворка, предоставляя три модели LoRA (портрет, объект, локальное редактирование) и более общую модель FFT. Код и модели можно бесплатно загрузить с GitHub, последнее обновление было произведено 11 марта 2025 г. ACE++ подходит для разработчиков, дизайнеров и обычных пользователей, поддерживает как операции командной строки, так и возможность создания изображений на компьютере. ComfyUI Используйте в.

ACE++ не имеет существенных недостатков в замене и правке лиц по сравнению со специализированными инструментами, благодаря недавно запущенному Gemini 2.0 Flash Очень яркий, также основной текст команды управления изображением локального редактирования, они два эффекта могут быть сравнены сами по себе.

Список функций

• Команда для создания изображения: Введите текстовое описание для создания нового изображения, например "Девушка в полицейской форме".
• Локальное редактирование изображений: Изменение определенных областей изображения, например замена фона или корректировка одежды.
• Создание эталонного изображения: Создайте новый рисунок в аналогичном стиле на основе эталонного рисунка.
• Выбор нескольких моделей: Доступны три модели LoRA для портретного, объектного и локального редактирования и одна модель FFT.
• Поддержка ComfyUI: Упрощенный рабочий процесс благодаря графическому интерфейсу.
• Индивидуальное обучение: Пользователи могут обучать модели на собственных данных, адаптируя их к конкретным задачам.
• Дополнительные возможности: Поддерживаются расширенные приложения, такие как суперразрешение, замена лиц, замена объектов и т. д.

Использование помощи

Процесс установки

Для работы ACE++ требуется настроенная среда. Ниже приведены подробные шаги:

1. Подготовка среды
   • Убедитесь, что на вашем компьютере установлен Python 3.8 или выше, и что он доступен для python --version Проверьте.
   • Чтобы установить Git, загрузите его с сайта для пользователей Windows и запустите для пользователей Mac. brew install git.
   • Рекомендуется использовать графические процессоры NVIDIA с не менее чем 12 ГБ оперативной памяти, процессоры могут работать, но медленно.
2. Код загрузки
   • Откройте терминал и запустите его:

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • Это позволит загрузить проект локально.
3. Установка зависимостей
   • Введите команду для установки необходимых библиотек:

     pip install -r repo_requirements.txt
     

   • Если у вас возникли проблемы с разрешениями, добавьте --user Параметры.
4. Скачать модели
   • ACE++ полагается на модель FLUX.1-Fill-dev для установки переменных окружения:

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • Загрузите модель LoRA (опционально):

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • Модель БПФ (опционально):

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Его можно загрузить вручную с сайта Hugging Face или ModelScope и поместить в каталог проекта.
5. тестовый запуск
   • Выполните следующую команду, чтобы проверить окружение:

     python infer_lora.py
     

   • Если вывод нормальный, установка прошла успешно.

Как использовать основные функции

Команда для создания изображения

• процедура::
  1. Введите текстовое описание, например "старая белая сова".
  2. Бег:

     python infer_lora.py --prompt "1 white old owl"
     

  3. Результаты сохраняются в output Папка.
• привлекать внимание к чему-л.Чем подробнее описание, тем лучше результаты. Модель FFT подходит для сложных задач.

Локальное редактирование изображений

• процедура::
  1. Подготовьте фотографии (например. example.jpg) и маски (например. mask.png), маскируя белую область для раздела редактирования.
  2. Бег:

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. Отредактированное изображение автоматически сохраняется.
• изысканность: Маску можно создать с помощью инструмента рисования, чтобы обеспечить чистоту области.

Создание эталонного изображения

• процедура::
  1. Подготовьте эталонные изображения (например. ref.jpg).
  2. Введите описание, например "Мальчик из прерий, сохраните тот же стиль".
  3. Бег:

     python infer_lora.py --ref ref.jpg --prompt "a boy on the grassland in the same style"
     

  4. Результаты сохраняют стиль эталонных рисунков.
• предложение: Ссылочные таблицы лучше всего работают, когда стиль очевиден.

Использование ComfyUI

• Установите ComfyUI::
  1. Скачать ComfyUI:

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. Поместите модель ACE++ в ComfyUI/models Папка.
  3. Запуск:

     cd ComfyUI
     python main.py
     

• буровая установка::
  1. Откройте браузер и посетите http://localhost:8188.
  2. Импортируйте рабочий процесс ACE++ (находится в папке workflow/ComfyUI-ACE_Plus).
  3. Загрузите изображение или введите текст, настройте параметры в соответствии с подсказками интерфейса и нажмите кнопку Выполнить.
• vantage: Графический интерфейс подходит для новичков и более интуитивен в управлении.

Индивидуальное обучение

• Подготовьте данные::
  1. консультация data/train.csvПодготовьте обучающие данные в формате:

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. Описание поля: Заполнение редакционной задачи edit_image ответить пением maskЗаполнение эталонного поколения ref_image.
• беговые тренировки::
  1. настроить train_config/ace_plus_lora.yamlНастройте параметры.
  2. Бег:

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. Обучающая модель сохраняется в файле examples/exp_example.

Функциональное управление

Переключение модели LoRA

• методологии::
  1. Установка переменных окружения, например, в моделях портретов:

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. быть в движении infer_lora.pyЭффект смещен в сторону оптимизации портрета.
• использовать: Портретные модели хороши для лиц, объектные модели - для предметов, а модели локального редактирования - для региональных корректировок.

Использование модели FFT

• методологии::
  1. Установка:

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. Бег:

     python infer_fft.py
     

• особенности: Поддерживает больше задач, но производительность может быть не такой стабильной, как у LoRA, подходит для академических исследований.

Расширенные приложения

• пересадка лица::
  1. Подготовьте эталонное лицо и целевые изображения.
  2. Использование ComfyUI рабочий процесс ACE_Plus_FFT_workflow_referenceediting_generation.jsonВведите команду, например "Человек перед камерой".
• суперразрешение::
  1. расход или издержки ACE_Plus_FFT_workflow_no_preprocess.jsonВведите схему и описание с низким разрешением.
  2. Вывод изображений высокой четкости.

сценарий применения

1. Персональный дизайн аватара
   Пользователи вводят описание или загружают фотографию, чтобы создать мультяшный аватар, например "Улыбающаяся девушка в очках".
2. Оптимизация продуктов электронной коммерции
   Продавцы редактируют изображения товаров, например, меняют цвет одежды на синий или добавляют фон, чтобы увеличить количество покупок.
3. Производство киноафиш
   Замените лица актеров с помощью функции Face Swap или настройте элементы плаката, чтобы быстро создать креативный дизайн.

QA

1. Является ли ACE++ бесплатным?
   Да, ACE++ - это проект с открытым исходным кодом, код и модели которого можно свободно скачать с GitHub.
2. Что делать, если возникла ошибка времени выполнения?
   Проверьте версию Python, установку зависимостей и путь к модели. Если вы не можете решить проблему, отправьте ее на GitHub Issues.
3. Что лучше - модель FFT или модель LoRA?
   Модель LoRA более стабильна в конкретных задачах, модель FFT более общая, но производительность может быть снижена, поэтому рекомендуется выбирать в соответствии с требованиями.