Story-Adapter：長いストーリーに基づき、連続的で一貫性のあるグラフィック・イラストレーションを生成します。

はじめに

Story-Adapterは、テキストストーリーを首尾一貫した画像シーケンスに変換する革新的なストーリー視覚化フレームワークです。研究者によって開発されたこのプロジェクトは、高品質のストーリーイラストを生成するためのトレーニングを必要としない反復アプローチを採用している。Story-Adapterは拡散モデリング技術に基づいており、GRCA（Global Reference Cross Attention）メカニズムによって生成画像の一貫性と品質を保証します。このプロジェクトはMITライセンスの下で完全にオープンソース化されており、研究者や開発者に強力なストーリー可視化ツールを提供します。

機能一覧

• 長いストーリーの視覚化をサポート
• トレーニングなしで反復的なフレームワークを提供
• グローバル・リファレンス・クロス・アテンション（GRCA）メカニズムの導入
• 画像シーケンス間の意味的一貫性の維持
• 高品質で詳細な相互作用効果を生成
• カスタムストーリー入力のサポート
• 事前に訓練されたモデルの統合を提供する
• バッチ画像生成をサポート
• 視覚化結果のリアルタイムプレビュー
• GPUによる高速処理をサポート

ヘルプの使用

環境設定

1. システム要件
   • パイソン 3.10.14
   • PyTorch 2.2.2
   • CUDA 12.1
   • cuDNN 8.9.02
2. インストールの手順

# リポジトリをクローンする
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# conda環境を作成し、有効化します。
conda create -n StoryAdapter python=3.10
conda activate StoryAdapter
# 依存関係をインストールする
pip install -r requirements.txt

3. 必要なモデルファイルをダウンロードします：
   • RealVisXL_V4.0: Hugging Faceからダウンロードし、"./RealVisXL_V4.0 "ディレクトリに配置します。
   • CLIP Image Encoder: ダウンロードして "./IP-Adapter/sdxl_models/image_encoder" ディレクトリに配置します。
   • IP-adapter_sdxl: ダウンロードして "./IP-adapter/sdxl_models/ip-adapter_sdxl.bin" に置く。

使用方法

1. 基本的なデモ走行：

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckptyour_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

2. カスタム・ストーリー・ジェネレーション：

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckptyour_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [ストーリーのテキスト].

ほら

1. すべての依存パッケージと必要なモデルファイルがインストールされていることを確認する。
2. GPUに十分なメモリがあるか確認し、高性能GPUの使用をお勧めします。
3. 最初の実行にはモデルのダウンロードとロードが必要で、時間がかかる場合がある。
4. 生成される画像の質は、入力ストーリーの質と描写の詳細度に依存する。
5. 最良の結果を得るためには、長いストーリーをまとめて処理することをお勧めします。

障害解決

1. CUDA関連のエラーが発生した場合は、CUDAのバージョンが以下のバージョンと一致しているかどうかを確認してください。
2. メモリ不足時にはバッチサイズを調整可能
3. モデルのロードに失敗した場合、ファイルパスが正しいかどうかをチェックする。
4. ジェネレーションが満足のいくものでない場合、ストーリー描写の詳細レベルを調整する。