스토리 어댑터: 긴 스토리를 기반으로 연속적이고 일관된 그래픽 일러스트를 생성합니다.

2.6K 00

일반 소개

스토리 어댑터는 텍스트 스토리를 일관된 이미지 시퀀스로 변환하는 혁신적인 스토리 시각화 프레임워크입니다. 연구원들이 개발한 이 프로젝트는 고품질 스토리 일러스트를 생성하기 위해 별도의 교육이 필요 없는 반복적인 접근 방식을 채택하고 있습니다. 이 프레임워크는 긴 스토리를 처리하고 이미지 간의 의미적 일관성을 유지하며 세심한 상호작용 세부 사항을 생성할 수 있는 것이 특징이며, 확산 모델링 기법을 기반으로 하고 글로벌 참조 교차 주의(GRCA) 메커니즘을 통해 생성된 이미지의 일관성과 품질을 보장합니다. 이 프로젝트는 MIT 라이선스에 따라 완전 오픈 소스로 제공되며 연구자와 개발자를 위한 강력한 스토리 시각화 도구를 제공합니다.

기능 목록

긴 스토리의 시각화 지원
교육 없이 반복적인 프레임워크 제공
글로벌 참조 교차 주의(GRCA) 메커니즘 구현
이미지 시퀀스 간 의미론적 일관성 유지
고품질의 세부 인터랙션 생성
사용자 지정 스토리 입력 지원
사전 학습된 모델 통합 제공
일괄 이미지 생성 지원
비주얼리제이션 결과의 실시간 미리 보기
GPU 가속 처리 지원

도움말 사용

환경 구성

시스템 요구 사항:
- Python 3.10.14
- PyTorch 2.2.2
- CUDA 12.1
- cuDNN 8.9.02
설치 단계:

# 克隆仓库
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# 创建并激活conda环境
conda create -n StoryAdapter python=3.10
conda activate StoryAdapter 
# 安装依赖包
pip install -r requirements.txt

필요한 모델 파일을 다운로드합니다:
- RealVisXL_V4.0: 허깅 페이스에서 다운로드하여 ". /RealVisXL_V4.0" 디렉토리에 설치합니다.
- CLIP 이미지 인코더: 다운로드하여 ". /IP-Adapter/sdxl_models/image_encoder" 디렉토리에 넣습니다.
- IP-어댑터_sdxl: 다운로드하여 ". /IP-어댑터/sdxl_models/ip-어댑터_sdxl.bin"

사용법

기본 데모 실행:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

맞춤형 스토리 생성:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [你的故事文本]