스토리 어댑터: 긴 스토리를 기반으로 연속적이고 일관된 그래픽 일러스트를 생성합니다.

일반 소개

스토리 어댑터는 텍스트 스토리를 일관된 이미지 시퀀스로 변환하는 혁신적인 스토리 시각화 프레임워크입니다. 연구원들이 개발한 이 프로젝트는 고품질 스토리 일러스트를 생성하기 위해 별도의 교육이 필요 없는 반복적인 접근 방식을 채택하고 있습니다. 이 프레임워크는 긴 스토리를 처리하고 이미지 간의 의미적 일관성을 유지하며 세심한 상호작용 세부 사항을 생성할 수 있는 것이 특징이며, 확산 모델링 기법을 기반으로 하고 글로벌 참조 교차 주의(GRCA) 메커니즘을 통해 생성된 이미지의 일관성과 품질을 보장합니다. 이 프로젝트는 MIT 라이선스에 따라 완전 오픈 소스로 제공되며 연구자와 개발자를 위한 강력한 스토리 시각화 도구를 제공합니다.

기능 목록

• 긴 스토리의 시각화 지원
• 교육 없이 반복적인 프레임워크 제공
• 글로벌 참조 교차 주의(GRCA) 메커니즘 구현
• 이미지 시퀀스 간 의미론적 일관성 유지
• 고품질의 세부 인터랙션 생성
• 사용자 지정 스토리 입력 지원
• 사전 학습된 모델 통합 제공
• 일괄 이미지 생성 지원
• 비주얼리제이션 결과의 실시간 미리 보기
• GPU 가속 처리 지원

도움말 사용

환경 구성

1. 시스템 요구 사항:
   • Python 3.10.14
   • PyTorch 2.2.2
   • CUDA 12.1
   • cuDNN 8.9.02
2. 설치 단계:

# 克隆仓库
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# 创建并激活conda环境
conda create -n StoryAdapter python=3.10
conda activate StoryAdapter 
# 安装依赖包
pip install -r requirements.txt

3. 필요한 모델 파일을 다운로드합니다:
   • RealVisXL_V4.0: 허깅 페이스에서 다운로드하여 ". /RealVisXL_V4.0" 디렉토리에 설치합니다.
   • CLIP 이미지 인코더: 다운로드하여 ". /IP-Adapter/sdxl_models/image_encoder" 디렉토리에 넣습니다.
   • IP-어댑터_sdxl: 다운로드하여 ". /IP-어댑터/sdxl_models/ip-어댑터_sdxl.bin"

사용법

1. 기본 데모 실행:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

2. 맞춤형 스토리 생성:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [你的故事文本]

주의

1. 모든 종속 패키지와 필요한 모델 파일이 설치되어 있는지 확인합니다.
2. GPU에 충분한 메모리가 있는지 확인하고 고성능 GPU를 권장합니다.
3. 처음 실행할 때 모델을 다운로드하고 로드해야 하며 시간이 오래 걸릴 수 있습니다.
4. 생성된 이미지의 품질은 입력 스토리의 품질과 설명의 세부 수준에 따라 달라집니다.
5. 최상의 결과를 얻으려면 긴 스토리는 일괄 처리하는 것이 좋습니다.

결함 해결

1. CUDA 관련 오류가 발생하면 CUDA 버전이 일치하는지 확인하세요.
2. 메모리가 부족할 때 배치 크기 조정 가능
3. 모델 로딩에 실패하면 파일 경로가 올바른지 확인하세요.
4. 생성이 만족스럽지 않은 경우 스토리 설명의 세부 수준을 조정합니다.