ACE++: 텍스트 명령으로 이미지를 로컬에서 정밀하게 편집할 수 있는 다목적 오픈 소스 도구

일반 소개

ACE++는 알리바바 통이 연구소의 ali-vilab 팀에서 개발한 오픈 소스 프로젝트입니다. 다음을 기반으로 합니다. FLUX.1-Fill-dev 모델은 간단한 텍스트 명령을 통해 이미지를 생성하고 편집할 수 있도록 설계되었습니다. 이 프로젝트는 참조 이미지 생성, 로컬 편집, 제어 생성을 단일 프레임워크 내에서 통합하여 세 가지 LoRA 모델(세로, 개체, 로컬 편집)과 보다 일반적인 FFT 모델을 제공합니다. 코드와 모델은 GitHub에서 무료로 다운로드할 수 있으며, 2025년 3월 11일에 마지막으로 업데이트되었습니다. ACE++는 개발자, 디자이너 및 일반 사용자에게 적합하며 명령줄 작업과 ComfyUI 사용처

ACE++는 최근 출시된 전용 도구 덕분에 페이스 스와핑과 드레싱에서 전용 도구에 비해 큰 단점이 없습니다. Gemini 2.0 플래시 매우 밝고 기본 텍스트 명령 제어 이미지 로컬 편집, 두 가지 효과를 자체적으로 비교할 수 있습니다.

기능 목록

• 이미지를 생성하는 명령: 텍스트 설명을 입력하여 새 이미지를 생성합니다(예: "경찰 제복을 입은 소녀").
• 로컬 이미지 편집배경을 바꾸거나 의상을 조정하는 등 사진의 특정 영역을 수정합니다.
• 참조 이미지 생성참조 도면을 기반으로 비슷한 스타일의 새 도면을 생성합니다.
• 다중 모델 선택인물, 오브젝트, 로컬 편집을 위한 세 가지 LoRA 모델과 한 가지 FFT 모델을 사용할 수 있습니다.
• ComfyUI 지원그래픽 인터페이스 조작을 통한 간소화된 워크플로.
• 맞춤형 교육사용자는 특정 작업에 맞게 자체 데이터로 모델을 학습시킬 수 있습니다.
• 고급 기능초해상도, 얼굴 교체, 개체 교체 등과 같은 확장된 애플리케이션이 지원됩니다.

도움말 사용

설치 프로세스

ACE++를 실행하려면 환경이 구성되어 있어야 합니다. 자세한 단계는 다음과 같습니다:

1. 환경 준비하기
   • 컴퓨터에 Python 3.8 이상이 설치되어 있는지, 그리고 python --version 확인.
   • Git을 설치하려면 Windows 사용자의 경우 웹사이트에서 다운로드하고 Mac 사용자의 경우 실행하세요. brew install git.
   • 12GB 이상의 RAM이 장착된 NVIDIA GPU가 권장되며, CPU는 실행할 수 있지만 속도가 느립니다.
2. 코드 다운로드
   • 터미널을 열고 실행합니다:

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • 그러면 프로젝트가 로컬로 다운로드됩니다.
3. 종속성 설치
   • 명령을 입력하여 필요한 라이브러리를 설치합니다:

     pip install -r repo_requirements.txt
     

   • 권한에 문제가 있는 경우 --user 매개변수.
4. 모델 다운로드
   • ACE++는 환경 변수를 설정하기 위해 FLUX.1-Fill-dev 모델에 의존합니다:

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • LoRA 모델 다운로드(선택 사항):

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • FFT 모델(선택 사항):

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • 허깅 페이스 또는 모델스코프에서 수동으로 다운로드하여 프로젝트 디렉토리에 배치할 수 있습니다.
5. 테스트 실행
   • 다음 명령을 실행하여 환경을 확인합니다:

     python infer_lora.py
     

   • 출력이 정상이면 설치에 성공한 것입니다.

주요 기능 사용 방법

이미지를 생성하는 명령

• 절차::
  1. "늙은 흰 올빼미"와 같은 텍스트 설명을 입력합니다.
  2. 실행 중입니다:

     python infer_lora.py --prompt "1 white old owl"
     

  3. 결과는 output 폴더.
• STH에 주목하세요.설명이 상세할수록 더 좋은 결과를 얻을 수 있습니다. FFT 모델은 복잡한 작업에 적합합니다.

로컬 이미지 편집

• 절차::
  1. 사진 준비(예 example.jpg) 및 마스크(예 mask.png)를 클릭하여 편집 섹션의 흰색 영역을 마스킹합니다.
  2. 실행 중입니다:

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. 편집한 이미지는 자동으로 저장됩니다.
• 기교: 그리기 도구를 사용하여 마스크를 만들어 해당 영역이 선명하게 보이도록 할 수 있습니다.

참조 이미지 생성

• 절차::
  1. 참조 이미지 준비(예 ref.jpg).
  2. "프레리 보이, 같은 스타일 유지"와 같은 설명을 입력합니다.
  3. 실행 중입니다:

     python infer_lora.py --ref ref.jpg --prompt "a boy on the grassland in the same style"
     

  4. 결과에는 참조 그림 스타일이 유지됩니다.
• 제안참조 차트는 스타일이 명확할 때 가장 효과적입니다.

ComfyUI 사용

• ComfyUI 설치::
  1. ComfyUI를 다운로드합니다:

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. ACE++ 모델을 ComfyUI/models 폴더.
  3. 시작:

     cd ComfyUI
     python main.py
     

• rig::
  1. 브라우저를 열고 다음 사이트를 방문하세요. http://localhost:8188.
  2. ACE++ 워크플로 가져오기( workflow/ComfyUI-ACE_Plus).
  3. 사진을 업로드하거나 텍스트를 입력하고 인터페이스 프롬프트에 따라 매개변수를 조정한 다음 실행을 클릭합니다.
• vantage그래픽 인터페이스는 초보자에게 적합하며 조작이 더 직관적입니다.

맞춤형 교육

• 데이터 준비::
  1. 상담 data/train.csv를 클릭하고 학습 데이터를 해당 형식으로 준비합니다:

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. 필드 설명: 편집 작업 채우기 edit_image 노래로 응답 mask참조 생성 채우기 ref_image.
• 러닝 트레이닝::
  1. 구성 train_config/ace_plus_lora.yaml를 클릭하고 매개변수를 조정합니다.
  2. 실행 중입니다:

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. 훈련 모델은 examples/exp_example.

주요 기능 작동

LoRA 모델 전환

• 방법론::
  1. 환경 변수 설정(예: 인물 모델):

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. 움직여야 합니다. infer_lora.py이 효과는 세로 최적화에 편향되어 있습니다.
• 사용인물 모델은 얼굴에, 개체 모델은 항목에, 로컬 편집 모델은 지역 조정에 적합합니다.

FFT 모델 사용

• 방법론::
  1. 설정:

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. 실행 중입니다:

     python infer_fft.py
     

• 특수성더 많은 작업을 지원하지만 LoRA만큼 성능이 안정적이지 않아 학술 연구에 적합하지 않을 수 있습니다.

고급 애플리케이션

• 안면 이식::
  1. 참조 얼굴 및 대상 이미지를 준비합니다.
  2. ComfyUI 사용 워크플로 ACE_Plus_FFT_workflow_referenceediting_generation.json"카메라를 향하는 사람"과 같은 명령을 입력합니다.
• 초고해상도::
  1. 비용 또는 지출 ACE_Plus_FFT_workflow_no_preprocess.json를 클릭하고 저해상도 다이어그램과 설명을 입력합니다.
  2. 고화질 이미지를 출력합니다.

애플리케이션 시나리오

1. 개인화된 아바타 디자인
   사용자는 설명을 입력하거나 사진을 업로드하여 '안경을 쓰고 웃는 소녀'와 같은 만화 아바타를 생성할 수 있습니다.
2. 이커머스 제품 최적화
   판매자는 구매율을 높이기 위해 옷을 파란색으로 바꾸고 배경을 추가하는 등 제품 이미지를 편집할 수 있습니다.
3. 영화 포스터 제작
   페이스 스왑 기능으로 배우의 얼굴을 교체하거나 포스터 요소를 조정하여 창의적인 디자인을 빠르게 생성할 수 있습니다.

QA

1. ACE++는 무료인가요?
   예, ACE++는 코드와 모델이 포함된 오픈 소스 프로젝트로 GitHub에서 무료로 다운로드할 수 있습니다.
2. 런타임 오류가 발생하면 어떻게 하나요?
   Python 버전, 종속성 설치 및 모델 경로를 확인합니다. 문제를 해결할 수 없는 경우 GitHub 이슈에 문제를 제출하세요.
3. FFT 모델과 LoRA 모델 중 어느 것이 더 낫나요?
   LoRA 모델은 특정 작업에서 더 안정적이며, FFT 모델은 더 일반적이지만 성능이 저하될 수 있으므로 요구 사항에 따라 선택하는 것이 좋습니다.