EasyControl：ポートレートをジブリ風に変身させる無料ツール

はじめに

EasyControlは、DiT（Diffusion Transformer）アーキテクチャに基づいた効率的で柔軟な画像生成制御を提供するオープンソースプロジェクトです。その中でも、ジブリコントロールLoRAは特徴的な機能の一つであり、100人のアジア人の顔とそのGPT-4oで生成されたジブリ風画像のみで学習することで、顔の特徴を保持したまま、実際のポートレートをジブリアニメーション風に変換することができます。EasyControlは、エッジ、深度、ポーズなど、様々な条件入力をサポートしており、ジブリモデルがジブリモデルは、様式化された生成のハイライトです。このプロジェクトは研究目的に限りApache 2.0ライセンスでライセンスされています。2025年4月3日現在の最新アップデートには、ジブリ風モデルとオンラインデモが含まれます。

無料体験：https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli

機能一覧

• 似顔絵をジブリ風に変換：実際の顔画像を入力すると、ジブリアニメ風の画像が生成されます。
• 顔の特徴を保持：100人のアジア人の顔に基づいたトレーニングにより、変換後に細部が歪むことはありません。
• エッジ（Canny）、デプス（Depth）、ポーズ（Pose）など、幅広い条件コントロールをサポート。
• 柔軟な解像度出力：異なる高さと幅の画像生成をサポート。
• 効率的な生成：因果的注意メカニズムとKVキャッシュ技術を組み合わせて推論を高速化。
• プラグアンドプレイモジュール：ジブリLoRAは、FLUX.1-devなどのDiTモデルとシームレスに統合できます。

ヘルプの使用

EasyControlは、技術的なバックグラウンドを持つユーザー、特に研究者やクリエイティブワーカーに適しています。以下は、ジブリの機能をインストールし、使用するための詳細なガイドです。

設置プロセス

1. 環境を整える
   Python 3.10とCUDAをサポートしたPyTorchが必要です。 Conda環境を作成する：

conda create -n easycontrol python=3.10
conda activate easycontrol

2. クローン倉庫
   EasyControlプロジェクトをダウンロードしてください：

git clone https://github.com/Xiaojiu-z/EasyControl.git
cd EasyControl

3. 依存関係のインストール
   必要なライブラリをインストールする：

pip install -r requirements.txt

GPUユーザーは、PyTorchがCUDAをサポートしていることを確認する必要があります。

4. ジブリモデルのダウンロード
   ハギング・フェイスのジブリ・ロラを手に入れよう：

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="Xiaojiu-Z/EasyControl", filename="models/Ghibli.safetensors", local_dir="./")

アクセスできない場合は、ミラーサイトを利用できる：

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download Xiaojiu-Z/EasyControl --local-dir checkpoints

5. インストールの確認
   テストスクリプトを実行する：

python demo.py

イメージが生成されれば、インストールは成功です。

主な機能

1.ジブリ風映像の生成

• 手続き
  モデルを初期化し、ジブリ LoRA をロードする：

import torch
from PIL import Image
from src.pipeline import FluxPipeline
from src.lora_helper import set_single_lora
device = "cuda"
base_path = "FLUX.1-dev"  # 基础模型路径
pipe = FluxPipeline.from_pretrained(base_path, torch_dtype=torch.bfloat16).to(device)
set_single_lora(pipe.transformer, "models/Ghibli.safetensors", lora_weights=[1], cond_size=512)
prompt = "Ghibli Studio style, Charming hand-drawn anime-style illustration"
subject_image = Image.open("test_imgs/portrait.png").convert("RGB")
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
num_inference_steps=25,
subject_images=[subject_image],
cond_size=512,
generator=torch.Generator("cpu").manual_seed(1)
).images[0]
image.save("output/ghibli_result.png")

• 結局
  ジブリ風の画像をエクスポートし、次の場所に保存する。 output/ghibli_result.png.

2.オンライン・デモンストレーションの利用

• 手続き
  https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli、ハギング・フェイスのスペースを訪れてみよう：
  1. ポートレート画像をアップロードしてください。
  2. プロンプトの単語を入力する：Ghibli Studio style, Charming hand-drawn anime-style illustration.
  3. 高さと幅を設定する（ハードウェアによる制限あり、デフォルトは256x256、高解像度にはローカル操作が必要）。
  4. 画像を生成」をクリックし、20～40秒待つ。
• 結局
  ジブリ風の低解像度画像を生成する。

注目の機能操作

高解像度ジェネレーション

• 手続き
  ローカルランタイムで、高さと幅のパラメーターを変更する：

  image = pipe(prompt, height=1024, width=1024, ...)
  

• 銘記する
  最低12GBのGPUメモリが必要です。

キャッシュの消去

• 手続き
  各世代の後にキャッシュをクリアする：

  def clear_cache(transformer):
  for name, attn_processor in transformer.attn_processors.items():
  attn_processor.bank_kv.clear()
  clear_cache(pipe.transformer)
  

ヒントとコツ

• プロンプトには Ghibli Studio style, Charming hand-drawn anime-style illustration をトリガーする。
• 入力画像は、解像度512x512以上の鮮明なポートレート画像を推奨します。
• オンライン・デモはハードウェアによる制限があり、低解像度（256x256）しかサポートしていない。

アプリケーションシナリオ

1. アニメーション・キャラクターデザイン
   実際の肖像画をジブリ風に変換して、アニメーションのキャラクタープロトタイプを素早く生成。
2. アート
   アーティストがジブリのモデルを使って手描き風のイラストを描き、作業効率を向上。
3. 教育研究
   研究者は、定型化された世代における条件付きコントロールの適用を探求している。

品質保証

1. オンラインで生成される解像度が低いのはなぜですか？
   オンラインデモはハードウェアが制限されており、256x256にしか対応していないため、1024x1024の画像を生成するにはローカルで実行する必要があります。
2. 生成された画像がジブリ風でないとしたら？
   プロンプトにトリガーワードが含まれていることを確認するか、入力画像が鮮明であることを確認する。
3. ポートレート以外の入力に対応していますか？
   はい、しかしジブリのモデルは顔に最適化されているので、他の入力はうまく機能しないかもしれません。