ACE++: una versátil herramienta de código abierto para la edición local precisa de imágenes con comandos de texto

Introducción general

ACE++ es un proyecto de código abierto desarrollado por el equipo ali-vilab de Alibaba Tongyi Lab. Se basa en FLUX.1-Modelo fill-dev diseñado para permitir la generación y edición de imágenes mediante sencillos comandos textuales. El proyecto unifica la generación de imágenes de referencia, la edición local y la generación controlada en un único marco, proporcionando tres modelos LoRA (retrato, objeto, edición local) y un modelo FFT más general. El código y los modelos pueden descargarse gratuitamente de GitHub y se actualizaron por última vez el 11 de marzo de 2025. ACE++ es adecuado para desarrolladores, diseñadores y usuarios en general, y admite tanto operaciones de línea de comandos como la posibilidad de crear imágenes en la interfaz de usuario. ComfyUI Utilizado en.

ACE++ no tiene deficiencias significativas en el cambio de caras y el aderezo en comparación con las herramientas dedicadas, gracias al recientemente lanzado Gemini 2.0 Flash Muy brillante, también el comando de texto principal de control de imagen de edición local, los dos efectos se pueden comparar por sí mismos.

Lista de funciones

• Comando para generar una imagen: Introduzca una descripción de texto para generar una nueva imagen, por ejemplo, "Una chica con uniforme de policía".
• Edición local de imágenes: Modifica áreas específicas de una imagen, como sustituir el fondo o ajustar la ropa.
• Generación de imágenes de referencia: Genera un nuevo dibujo de estilo similar a partir de un dibujo de referencia.
• Selección multimodelo: Se dispone de tres modelos LoRA para retratos, objetos, edición local y un modelo FFT.
• Soporte ComfyUI: Flujo de trabajo simplificado gracias al funcionamiento de la interfaz gráfica.
• Formación a medidaLos usuarios pueden entrenar modelos con sus propios datos, adaptados a tareas específicas.
• Funciones avanzadas: Se admiten aplicaciones ampliadas como la superresolución, el intercambio de caras, la sustitución de objetos, etc.

Utilizar la ayuda

Proceso de instalación

ACE++ requiere un entorno configurado para ejecutarse. A continuación se detallan los pasos a seguir:

1. Preparar el entorno
   • Asegúrese de que Python 3.8 o posterior está instalado en su ordenador, y que puede utilizar el comando python --version Compruébalo.
   • Para instalar Git, descárgalo del sitio web para usuarios de Windows y ejecútalo para usuarios de Mac. brew install git.
   • Se recomiendan GPUs NVIDIA con al menos 12GB de RAM, las CPUs pueden funcionar pero son lentas.
2. Descargar código
   • Abre un terminal y ejecútalo:

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • Esto descargará el proyecto localmente.
3. Instalación de dependencias
   • Introduzca el comando para instalar las bibliotecas necesarias:

     pip install -r repo_requirements.txt
     

   • Si tiene problemas con los permisos, añada --user Parámetros.
4. Descargar modelos
   • ACE++ se basa en el modelo FLUX.1-Fill-dev para establecer variables de entorno:

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • Descarga el modelo LoRA (opcional):

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • Modelo FFT (opcional):

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Puede descargarse manualmente de Hugging Face o ModelScope y colocarse en el directorio del proyecto.
5. prueba de funcionamiento
   • Ejecute el siguiente comando para comprobar el entorno:

     python infer_lora.py
     

   • Si la salida es normal, la instalación se ha realizado correctamente.

Cómo utilizar las principales funciones

Comando para generar una imagen

• procedimiento::
  1. Introduzca una descripción de texto como "un viejo búho blanco".
  2. Corriendo:

     python infer_lora.py --prompt "1 white old owl"
     

  3. Los resultados se guardan en el archivo output Carpeta.
• llamar la atención sobre algoCuanto más detallada sea la descripción, mejores serán los resultados. el modelo FFT es adecuado para tareas complejas.

Edición local de imágenes

• procedimiento::
  1. Preparar imágenes (por ejemplo example.jpg) y la máscara (por ejemplo mask.png), enmascarando el área blanca para la sección de edición.
  2. Corriendo:

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. La imagen editada se guarda automáticamente.
• finura: La máscara puede crearse con la herramienta de dibujo para asegurarse de que el área está despejada.

Generación de imágenes de referencia

• procedimiento::
  1. Preparar imágenes de referencia (por ejemplo ref.jpg).
  2. Introduzca una descripción como "Prairie Boy, mantener el mismo estilo".
  3. Corriendo:

     python infer_lora.py --ref ref.jpg --prompt "a boy on the grassland in the same style"
     

  4. Los resultados conservan el estilo de las figuras de referencia.
• sugerencia: Los gráficos de referencia funcionan mejor cuando el estilo es obvio.

Usando ComfyUI

• Instalar ComfyUI::
  1. Descargar ComfyUI:

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. Coloque el modelo ACE++ en el ComfyUI/models Carpeta.
  3. Lanzamiento:

     cd ComfyUI
     python main.py
     

• plataforma::
  1. Abra su navegador y visite http://localhost:8188.
  2. Importe el flujo de trabajo ACE++ (ubicado en la carpeta workflow/ComfyUI-ACE_Plus).
  3. Sube una imagen o introduce un texto, ajusta los parámetros según las indicaciones de la interfaz y haz clic en Ejecutar.
• vantageLa interfaz gráfica es adecuada para principiantes y su manejo es más intuitivo.

Formación a medida

• Preparar los datos::
  1. consulta data/train.csvprepara los datos de entrenamiento en el formato

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. Descripción del campo: Editorial Task Fill edit_image responder cantando maskGeneración de referencia Relleno ref_image.
• entrenamiento de running::
  1. configure train_config/ace_plus_lora.yamlAjuste los parámetros.
  2. Corriendo:

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. El modelo de entrenamiento se guarda en el archivo examples/exp_example.

Función destacada Operación

Cambio de modelo LoRA

• metodologías::
  1. Configuración de variables de entorno, por ejemplo, con modelos de retrato:

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. estar en movimiento infer_lora.pyEl efecto se inclina hacia la optimización del retrato.
• utiliceLos modelos de retrato son buenos para las caras, los modelos de objeto son buenos para los objetos y los modelos de edición local son buenos para los ajustes regionales.

Uso del modelo FFT

• metodologías::
  1. Entorno:

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. Corriendo:

     python infer_fft.py
     

• especificidadesAdmite más tareas, pero el rendimiento puede no ser tan estable como LoRA, adecuado para la investigación académica.

Aplicaciones avanzadas

• trasplante de cara::
  1. Preparar las imágenes de referencia de la cara y del objetivo.
  2. Usando ComfyUI flujo de trabajo ACE_Plus_FFT_workflow_referenceediting_generation.jsonComandos de entrada como "hombre frente a cámara".
• superresolución::
  1. gasto o desembolso ACE_Plus_FFT_workflow_no_preprocess.jsonIntroduzca un diagrama de baja resolución y una descripción.
  2. Emite imágenes de alta definición.

escenario de aplicación

1. Diseño personalizado de avatares
   Los usuarios introducen una descripción o suben una foto para generar un avatar de dibujos animados, como "Chica sonriente con gafas".
2. Optimización de productos de comercio electrónico
   Los comerciantes editan las imágenes de los productos, por ejemplo cambiando la ropa a azul y añadiendo fondos para aumentar los índices de compra.
3. Producción de carteles cinematográficos
   Sustituya las caras de los actores con la función Face Swap o ajuste los elementos del cartel para generar rápidamente diseños creativos.

CONTROL DE CALIDAD

1. ¿Es gratuito ACE++?
   Sí, ACE++ es un proyecto de código abierto con código y modelos disponibles gratuitamente para su descarga desde GitHub.
2. ¿Qué ocurre si aparece un error de ejecución?
   Comprueba la versión de Python, la instalación de dependencias y la ruta del modelo. Si no puedes solucionarlo, envía la incidencia a GitHub Issues.
3. ¿Qué es mejor, el modelo FFT o el modelo LoRA?
   El modelo LoRA es más estable en tareas específicas, el modelo FFT es más general pero el rendimiento puede degradarse, se recomienda elegir en función de los requisitos.