ACE++: uma ferramenta versátil de código aberto para edição local precisa de imagens com comandos de texto

Introdução geral

O ACE++ é um projeto de código aberto desenvolvido pela equipe do ali-vilab no Alibaba Tongyi Lab. Ele é baseado em FLUXO.1-Modelo fill-dev projetado para permitir a geração e a edição de imagens por meio de comandos textuais simples. O projeto unifica a geração de imagens de referência, a edição local e a geração controlada em uma única estrutura, fornecendo três modelos LoRA (retrato, objeto, edição local) e um modelo FFT mais geral. O código e os modelos podem ser baixados gratuitamente do GitHub e foram atualizados pela última vez em 11 de março de 2025. O ACE++ é adequado para desenvolvedores, designers e usuários em geral, e oferece suporte a operações de linha de comando e à capacidade de criar imagens no ComfyUI Use em.

O ACE++ não apresenta deficiências significativas na troca de faces e no acabamento em comparação com ferramentas dedicadas, graças ao recém-lançado Flash Gemini 2.0 Muito brilhante, além da edição local da imagem de controle de comando do texto principal, os dois efeitos podem ser comparados entre si.

Lista de funções

• Comando para gerar uma imagemDigite uma descrição de texto para gerar uma nova imagem, por exemplo, "Uma garota em um uniforme de polícia".
• Edição local de imagensModificar áreas específicas de uma imagem, como substituir o plano de fundo ou ajustar a roupa.
• Geração de imagem de referênciaGerar um novo desenho de estilo semelhante com base em um desenho de referência.
• Seleção de vários modelosTrês modelos LoRA para retratos, objetos, edição local e um modelo FFT estão disponíveis.
• Suporte da ComfyUIFluxo de trabalho simplificado por meio de operação com interface gráfica.
• Treinamento personalizadoOs usuários podem treinar modelos com seus próprios dados, adaptados a tarefas específicas.
• Recursos avançadosAplicativos estendidos, como super-resolução, troca de faces, substituição de objetos, etc., são suportados.

Usando a Ajuda

Processo de instalação

O ACE++ requer um ambiente configurado para ser executado. Veja a seguir as etapas detalhadas:

1. Preparação do ambiente
   • Certifique-se de que o Python 3.8 ou posterior esteja instalado em seu computador e que você possa usar o comando python --versão Verificar.
   • Para instalar o Git, baixe-o do site para usuários do Windows e execute-o para usuários do Mac. brew install git.
   • Recomendamos GPUs NVIDIA com pelo menos 12 GB de RAM; as CPUs podem funcionar, mas são lentas.
2. Código de download
   • Abra um terminal e execute-o:

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • Isso fará o download do projeto localmente.
3. Instalação de dependências
   • Digite o comando para instalar as bibliotecas necessárias:

     pip install -r repo_requirements.txt
     

   • Se você tiver problemas com permissões, adicione --usuário Parâmetros.
4. Modelos para download
   • O ACE++ depende do modelo FLUX.1-Fill-dev para definir variáveis de ambiente:

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • Faça o download do modelo LoRA (opcional):

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • Modelo FFT (opcional):

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Ele pode ser baixado manualmente do Hugging Face ou do ModelScope e colocado no diretório do projeto.
5. execução de teste
   • Execute o seguinte comando para verificar o ambiente:

     python infer_lora.py
     

   • Se a saída for normal, a instalação foi bem-sucedida.

Como usar os principais recursos

Comando para gerar uma imagem

• procedimento::
  1. Digite uma descrição de texto, como "uma velha coruja branca".
  2. Em execução:

     python infer_lora.py --prompt "1 white old coruja"
     

  3. Os resultados são salvos no saída Pasta.
• chamar a atenção para algoQuanto mais detalhada for a descrição, melhores serão os resultados. O modelo FFT é adequado para tarefas complexas.

Edição local de imagens

• procedimento::
  1. Prepare imagens (por exemplo exemplo.jpg) e máscara (por exemplo máscara.png), mascarando a área branca para a seção de edição.
  2. Em execução:

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat" (adicione um chapéu vermelho)
     

  3. A imagem editada é salva automaticamente.
• delicadezaMáscara de desenho: A máscara pode ser criada com a ferramenta de desenho para garantir que a área esteja limpa.

Geração de imagem de referência

• procedimento::
  1. Preparar imagens de referência (por exemplo ref.jpg).
  2. Insira uma descrição, como "Prairie Boy, mantenha o mesmo estilo".
  3. Em execução:

     python infer_lora.py --ref ref.jpg --prompt "um garoto no pasto no mesmo estilo"
     

  4. Os resultados mantêm o estilo da figura de referência.
• sugestãoGráficos de referência: Os gráficos de referência funcionam melhor quando o estilo é óbvio.

Usando a ComfyUI

• Instalar a ComfyUI::
  1. Faça o download do ComfyUI:

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. Coloque o modelo ACE++ no arquivo ComfyUI/modelos Pasta.
  3. Lançamento:

     cd ComfyUI
     python main.py
     

• equipamento::
  1. Abra seu navegador e acesse http://localhost:8188.
  2. Importe o fluxo de trabalho do ACE++ (localizado na pasta fluxo de trabalho/ComfyUI-ACE_Plus).
  3. Faça upload de uma imagem ou insira um texto, ajuste os parâmetros de acordo com os avisos da interface e clique em Run (Executar).
• vantagemInterface gráfica: A interface gráfica é adequada para iniciantes e sua operação é mais intuitiva.

Treinamento personalizado

• Preparar dados::
  1. consulta dados/treinamento.csvprepare os dados de treinamento no formato:

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. Descrição do campo: Preenchimento de tarefa editorial edit_image responder cantando máscaraPreenchimento da geração de referência ref_image.
• treinamento de corrida::
  1. configurar train_config/ace_plus_lora.yamlAjustando os parâmetros.
  2. Em execução:

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. O modelo de treinamento é salvo no arquivo exemplos/exp_example.

Operação da função em destaque

Mudança de modelo LoRA

• metodologias::
  1. Definição de variáveis de ambiente, por exemplo, com modelos de retrato:

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. estar em movimento infer_lora.pyO efeito é tendencioso para a otimização de retratos.
• usoModelos de retrato são bons para rostos, modelos de objeto são bons para itens e modelos de edição local são bons para ajustes regionais.

Uso do modelo FFT

• metodologias::
  1. Configuração:

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. Em execução:

     python infer_fft.py
     

• especificidadesSuporte a mais tarefas, mas o desempenho pode não ser tão estável quanto o LoRA, adequado para pesquisas acadêmicas.

Aplicativos avançados

• transplante de rosto::
  1. Prepare imagens de referência do rosto e do alvo.
  2. Usando a ComfyUI fluxo de trabalho ACE_Plus_FFT_workflow_referenceediting_generation.jsonComandos de entrada, como "homem de frente para a câmera".
• super-resolução::
  1. despesa ou gasto ACE_Plus_FFT_workflow_no_preprocess.jsonInsira um diagrama de baixa resolução e uma descrição.
  2. Gera imagens de alta definição.

cenário do aplicativo

1. Design de avatar personalizado
   Os usuários inserem uma descrição ou carregam uma foto para gerar um avatar de desenho animado, como "Garota sorridente de óculos".
2. Otimização de produtos de comércio eletrônico
   Os comerciantes editam imagens de produtos, como mudar as roupas para azul e adicionar planos de fundo para aumentar as taxas de compra.
3. Produção de pôsteres de filmes
   Substitua os rostos dos atores com o recurso Face Swap ou ajuste os elementos do pôster para gerar rapidamente designs criativos.

QA

1. O ACE++ é gratuito?
   Sim, o ACE++ é um projeto de código aberto com código e modelos disponíveis gratuitamente para download no GitHub.
2. E se eu receber um erro de tempo de execução?
   Verifique a versão do Python, a instalação da dependência e o caminho do modelo. Se você não conseguir resolver o problema, envie-o para o GitHub Issues.
3. O que é melhor, o modelo FFT ou o modelo LoRA?
   O modelo LoRA é mais estável em tarefas específicas, o modelo FFT é mais geral, mas o desempenho pode ser prejudicado; recomenda-se escolher de acordo com os requisitos.