Adaptador de historias: Genere ilustraciones gráficas continuas y coherentes basadas en una historia larga.

Introducción general

Story-Adapter es un innovador marco de visualización de historias que convierte relatos textuales en secuencias de imágenes coherentes. Desarrollado por investigadores, este proyecto emplea un enfoque iterativo que no requiere formación para generar ilustraciones de historias de alta calidad. El marco se caracteriza por su capacidad para manejar historias largas, mantener la coherencia semántica entre imágenes y generar minuciosos detalles de interacción.Story-Adapter se basa en técnicas de modelado de difusión y garantiza la coherencia y calidad de las imágenes generadas mediante el mecanismo de Atención Cruzada de Referencia Global (GRCA). El proyecto es totalmente de código abierto bajo licencia MIT y proporciona una potente herramienta de visualización de historias para investigadores y desarrolladores.

Lista de funciones

• Soporte para la visualización de historias largas
• Proporcionar un marco iterativo sin formación
• Aplicación del mecanismo de Atención Cruzada Global de Referencia (GRCA)
• Mantener la coherencia semántica entre secuencias de imágenes
• Generación de efectos de interacción detallados y de alta calidad
• Soporte para la introducción de historias personalizadas
• Integración de modelos preentrenados
• Admite la generación de imágenes por lotes
• Previsualización en tiempo real de los resultados de la visualización
• Admite procesamiento acelerado por GPU

Utilizar la ayuda

Configuración del entorno

1. Requisitos del sistema:
   • Python 3.10.14
   • PyTorch 2.2.2
   • CUDA 12.1
   • cuDNN 8.9.02
2. Pasos de la instalación:

# 克隆仓库
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# 创建并激活conda环境
conda create -n StoryAdapter python=3.10
conda activate StoryAdapter 
# 安装依赖包
pip install -r requirements.txt

3. Descargue los archivos de modelo necesarios:
   • RealVisXL_V4.0: descargado de Hugging Face y colocado en el directorio ". /RealVisXL_V4.0".
   • CLIP Image Encoder: descargar y colocar en el directorio ". /IP-Adapter/sdxl_models/image_encoder".
   • IP-adapter_sdxl: descargar y colocar en ". /IP-Adapter/sdxl_models/ip-adapter_sdxl.bin".

Utilización

1. Demostración básica:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

2. Generación de historias personalizadas:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [你的故事文本]

advertencia

1. Asegúrese de que están instalados todos los paquetes dependientes y los archivos de modelo necesarios.
2. Comprueba si la GPU tiene suficiente memoria, se recomiendan GPUs de alto rendimiento.
3. Es necesario descargar y cargar el modelo para la primera ejecución, lo que puede llevar mucho tiempo.
4. La calidad de la imagen generada depende de la calidad del relato de entrada y del nivel de detalle de la descripción
5. Se recomienda procesar las historias largas por lotes para obtener mejores resultados.

resolución de averías

1. Si encuentra errores relacionados con CUDA, compruebe si la versión de CUDA coincide con
2. El tamaño del lote se puede ajustar cuando hay poca memoria
3. Cuando falla la carga del modelo, compruebe si la ruta del archivo es correcta
4. Ajustar el nivel de detalle en la descripción de la historia cuando la generación no sea satisfactoria.