ACE++: テキストコマンドによる画像の正確なローカル編集を可能にする多機能なオープンソースツール

はじめに

ACE++はAlibaba Tongyi Labのali-vilabチームによって開発されたオープンソースプロジェクトです。ベースとなっているのは フラックス.1-Fill-devは、シンプルなテキストコマンドによる画像生成と編集を可能にするために設計されたモデルです。このプロジェクトは、参照画像生成、ローカル編集、制御された生成を単一のフレームワークで統合し、3つのLoRAモデル（ポートレート、オブジェクト、ローカル編集）と、より一般的なFFTモデルを提供します。コードとモデルはGitHubから無料でダウンロードでき、最終更新日は2025年3月11日である。 ComfyUI で使用する。

ACE++は、フェイススワップやドレッシングにおいて、専用ツールと比較して大きな欠点はない。 ジェミニ2.0フラッシュ 非常に明るく、また、メインテキストコマンド制御画像ローカル編集、これら2つの効果は、それ自体で比較することができます。

機能一覧

• 画像生成コマンド例：「警察の制服を着た女の子」。
• ローカル画像編集背景の入れ替えや衣服の調整など、写真の指定した部分を修正します。
• 参照画像生成参照図面をもとに、類似したスタイルの新しい図面を生成します。
• マルチモデルの選択ポートレート、オブジェクト、ローカル編集用の3つのLoRAモデルと、1つのFFTモデルが用意されています。
• ComfyUIサポートGUI操作によるワークフローの簡素化。
• カスタマイズ・トレーニングユーザーは自分のデータを使って、特定のタスクに適応したモデルをトレーニングすることができます。
• 高度な機能超解像、顔の入れ替え、オブジェクトの入れ替えなどの拡張アプリケーションがサポートされています。

ヘルプの使用

設置プロセス

ACE++ を実行するには、設定された環境が必要です。以下はその詳細な手順である：

1. 環境を整える
   • Python 3.8以降がコンピュータにインストールされていることを確認してください。 python --version チェックする。
   • Gitをインストールするには、Windowsユーザーはウェブサイトからダウンロードし、Macユーザーは実行してください。 brew install git.
   • 少なくとも12GBのRAMを搭載したNVIDIA GPUを推奨する。
2. ダウンロードコード
   • ターミナルを開いて実行する：

     git clone https://github.com/ali-vilab/ACE_plus.git
     cd ACE_plus
     

   • これでプロジェクトがローカルにダウンロードされる。
3. 依存関係のインストール
   • 必要なライブラリをインストールするコマンドを入力する：

     pip install -r repo_requirements.txt
     

   • パーミッションに問題がある場合は --user パラメーター
4. ダウンロードモデル
   • ACE++は、環境変数を設定するためにFLUX.1-Fill-devモデルに依存しています：

     export FLUX_FILL_PATH="hf://black-forest-labs/FLUX.1-Fill-dev"
     

   • LoRAモデルをダウンロードする（オプション）：

     export PORTRAIT_MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     export SUBJECT_MODEL_PATH="hf://ali-vilab/ACE_Plus@subject/comfyui_subject_lora16.safetensors"
     export LOCAL_MODEL_PATH="hf://ali-vilab/ACE_Plus@local_editing/comfyui_local_lora16.safetensors"
     

   • FFTモデル（オプション）：

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

   • Hugging FaceまたはModelScopeから手動でダウンロードし、プロジェクトディレクトリに置くことができます。
5. 試運転
   • 以下のコマンドを実行して環境をチェックする：

     python infer_lora.py
     

   • 出力が正常であれば、インストールは成功している。

主な機能の使い方

画像生成コマンド

• 手続き::
  1. 年老いた白いフクロウ」のような説明をテキストで入力する。
  2. 走っている：

     python infer_lora.py --prompt "1 white old owl"
     

  3. 結果は output フォルダー
• 注意を引くFFTモデルは複雑なタスクに適している。

ローカル画像編集

• 手続き::
  1. 写真を用意する（例 example.jpg)とマスク(例えば mask.png)、編集部分の白い領域をマスクする。
  2. 走っている：

     python infer_lora.py --image example.jpg --mask mask.png --prompt "add a red hat"
     

  3. 編集した画像は自動的に保存されます。
• 技術マスクは描画ツールで作成することができます。

参照画像生成

• 手続き::
  1. 参照画像を用意する（例 ref.jpg).
  2. Prairie Boy, keep same style"（プレーリー・ボーイ、同じスタイルで）などと入力する。
  3. 走っている：

     python infer_lora.py --ref ref.jpg --prompt "a boy on the grassland in the same style"
     

  4. 結果は参考図のスタイルを維持している。
• 提案参考図表は、スタイルが明白な場合に最も効果的である。

ComfyUIの使用

• ComfyUIのインストール::
  1. ComfyUIのダウンロード

     git clone https://github.com/comfyanonymous/ComfyUI.git
     

  2. ACE++モデルを ComfyUI/models フォルダー
  3. イニシエーション：

     cd ComfyUI
     python main.py
     

• リグ::
  1. ブラウザを開き、次のサイトにアクセスする。 http://localhost:8188.
  2. ACE++ ワークフローをインポートします。 workflow/ComfyUI-ACE_Plus).
  3. 画像またはテキストをアップロードし、インターフェイスのプロンプトに従ってパラメータを調整し、実行をクリックします。
• バンテージグラフィカル・インターフェースは初心者にも適しており、より直感的に操作できる。

カスタマイズ・トレーニング

• データの準備::
  1. 協議 data/train.csvトレーニング・データを用意する：

     edit_image,edit_mask,ref_image,target_image,prompt,data_type
     

  2. フィールドの説明：編集タスクフィル edit_image 歌で応える maskリファレンス・ジェネレーション・フィル ref_image.
• ランニング・トレーニング::
  1. コンフィグ train_config/ace_plus_lora.yamlパラメータを調整する。
  2. 走っている：

     python run_train.py --cfg train_config/ace_plus_lora.yaml
     

  3. トレーニングモデルは examples/exp_example.

注目の機能操作

LoRAモデル切り替え

• 方法論::
  1. ポートレートモデルなどで環境変数を設定する：

     export MODEL_PATH="hf://ali-vilab/ACE_Plus@portrait/comfyui_portrait_lora64.safetensors"
     

  2. うごきだす infer_lora.pyその効果は肖像画の最適化に偏っている。
• 使用ポートレートモデルは顔に、オブジェクトモデルはアイテムに、ローカル編集モデルは地域調整に適しています。

FFTモデルの使用

• 方法論::
  1. セッティング

     export ACE_PLUS_FFT_MODEL="ms://iic/ACE_Plus@ace_plus_fft.safetensors"
     

  2. 走っている：

     python infer_fft.py
     

• 特性より多くのタスクをサポートするが、LoRAほどパフォーマンスが安定しない可能性がある。

高度なアプリケーション

• 顔移植::
  1. 基準顔とターゲット画像を用意する。
  2. ComfyUIの使用 ワークフロー ACE_Plus_FFT_workflow_referenceediting_generation.jsonカメラの方を向いている人」などのコマンドを入力する。
• 超解像::
  1. 支出 ACE_Plus_FFT_workflow_no_preprocess.json低解像度の図と説明を入力してください。
  2. ハイビジョン映像を出力。

アプリケーションシナリオ

1. アバターデザイン
   ユーザーは説明文を入力するか、写真をアップロードして、「メガネをかけた笑顔の女の子」のような漫画のアバターを生成する。
2. Eコマース製品の最適化
   マーチャントは、購入率を高めるために、服を青に変えたり、背景を追加したりするなど、商品画像を編集する。
3. 映画ポスター制作
   フェイススワップ機能で俳優の顔を入れ替えたり、ポスターの要素を調整して、クリエイティブなデザインをすばやく作成できます。

品質保証

1. ACE++は無料ですか？
   はい、ACE++はオープンソースのプロジェクトで、コードとモデルはGitHubから自由にダウンロードできます。
2. ランタイムエラーが発生したら？
   Pythonのバージョン、依存関係のインストール、モデルのパスを確認してください。解決できない場合は、GitHub Issuesに問題を提出してください。
3. FFTモデルとLoRAモデル、どちらが優れていますか？
   LoRAモデルは特定のタスクに対してより安定しており、FFTモデルはより一般的ですが、パフォーマンスが低下する可能性があります。