Story-Adapter: создание непрерывных и последовательных графических иллюстраций на основе длинного рассказа.

Общее введение

Story-Adapter - это инновационный фреймворк для визуализации историй, который преобразует текстовые истории в последовательные изображения. Разработанный исследователями, этот проект использует итеративный подход, который не требует обучения для создания высококачественных иллюстраций к рассказам. Story-Adapter основан на методах диффузионного моделирования и обеспечивает согласованность и качество генерируемых изображений с помощью механизма Global Reference Cross Attention (GRCA). Проект имеет полностью открытый исходный код под лицензией MIT и представляет собой мощный инструмент визуализации историй для исследователей и разработчиков.

Список функций

• Поддержка визуализации длинных историй
• Обеспечение итеративной структуры без обучения
• Внедрение механизма глобального перекрестного внимания (GRCA)
• Поддержание семантической согласованности между последовательностями изображений
• Генерируйте высококачественные детализированные эффекты взаимодействия
• Поддержка ввода пользовательских сюжетов
• Обеспечьте интеграцию предварительно обученных моделей
• Поддержка пакетного создания изображений
• Предварительный просмотр результатов визуализации в режиме реального времени
• Поддержка ускоренной обработки на GPU

Использование помощи

Конфигурация среды

1. Системные требования:
   • Python 3.10.14
   • PyTorch 2.2.2
   • CUDA 12.1
   • cuDNN 8.9.02
2. Этапы установки:

# 克隆仓库
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# 创建并激活conda环境
conda create -n StoryAdapter python=3.10
conda activate StoryAdapter 
# 安装依赖包
pip install -r requirements.txt

3. Загрузите необходимые файлы моделей:
   • RealVisXL_V4.0: загружен с сайта Hugging Face и помещен в каталог ". /RealVisXL_V4.0".
   • CLIP Image Encoder: скачайте и поместите в каталог ". /IP-Adapter/sdxl_models/image_encoder".
   • IP-adapter_sdxl: скачать и поместить в ". /IP-Adapter/sdxl_models/ip-adapter_sdxl.bin".

Использование

1. Базовый демо-запуск:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

2. Генерация пользовательских историй:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [你的故事文本]

предостережение

1. Убедитесь, что установлены все зависимые пакеты и необходимые файлы модели
2. Проверьте, достаточно ли памяти у графического процессора, рекомендуется использовать высокопроизводительные GPU.
3. Для первого запуска требуется загрузка модели, что может занять много времени
4. Качество генерируемого изображения зависит от качества исходного сюжета и уровня детализации описания
5. Для достижения наилучших результатов рекомендуется обрабатывать длинные истории партиями.

устранение неисправностей

1. Если вы столкнулись с ошибками, связанными с CUDA, проверьте, соответствует ли версия CUDA
2. Размер партии можно регулировать при нехватке памяти
3. Если загрузка модели не удается, проверьте правильность пути к файлу
4. Отрегулируйте уровень детализации в описании сюжета, если генерация не является удовлетворительной