Story-Adapter : Générer des illustrations graphiques continues et cohérentes basées sur une longue histoire.

Introduction générale

Story-Adapter est un cadre innovant de visualisation d'histoires qui convertit des histoires textuelles en séquences d'images cohérentes. Développé par des chercheurs, ce projet utilise une approche itérative qui ne nécessite aucune formation pour générer des illustrations d'histoires de haute qualité. Story-Adapter est basé sur des techniques de modélisation de la diffusion et garantit la cohérence et la qualité des images générées grâce au mécanisme GRCA (Global Reference Cross Attention). Le projet est entièrement ouvert sous la licence MIT et fournit un puissant outil de visualisation d'histoires pour les chercheurs et les développeurs.

Liste des fonctions

• Aide à la visualisation des histoires longues
• Fournir un cadre itératif sans formation
• Mise en œuvre du mécanisme de l'attention croisée globale de référence (GRCA)
• Maintien de la cohérence sémantique entre les séquences d'images
• Générer des interactions détaillées de haute qualité
• Prise en charge de la saisie d'histoires personnalisées
• Intégration de modèles pré-entraînés
• Prise en charge de la génération d'images par lots
• Aperçu en temps réel des résultats de la visualisation
• Prise en charge du traitement accéléré par le GPU

Utiliser l'aide

Configuration de l'environnement

1. Exigences du système :
   • Python 3.10.14
   • PyTorch 2.2.2
   • CUDA 12.1
   • cuDNN 8.9.02
2. Étapes de l'installation :

# 克隆仓库
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# 创建并激活conda环境
conda create -n StoryAdapter python=3.10
conda activate StoryAdapter 
# 安装依赖包
pip install -r requirements.txt

3. Télécharger les fichiers modèles nécessaires :
   • RealVisXL_V4.0 : téléchargé de Hugging Face et placé dans le répertoire ". /RealVisXL_V4.0".
   • CLIP Image Encoder : télécharger et placer dans le répertoire ". /IP-Adapter/sdxl_models/image_encoder".
   • IP-adapter_sdxl : télécharger et placer dans ". /IP-Adapter/sdxl_models/ip-adapter_sdxl.bin"

Utilisation

1. Démonstration de base :

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

2. Génération d'histoires personnalisées :

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt your_path//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [你的故事文本]

mise en garde

1. S'assurer que tous les paquets dépendants et les fichiers modèles nécessaires sont installés.
2. Vérifiez que le GPU dispose de suffisamment de mémoire. Les GPU à hautes performances sont recommandés.
3. Le téléchargement et le chargement du modèle sont nécessaires pour la première exécution et peuvent prendre beaucoup de temps.
4. La qualité de l'image générée dépend de la qualité de l'histoire d'entrée et du niveau de détail de la description.
5. Il est recommandé de traiter les histoires longues par lots pour obtenir les meilleurs résultats.

résolution des problèmes

1. Si vous rencontrez des erreurs liées à CUDA, vérifiez si la version de CUDA correspond à
2. La taille des lots peut être ajustée lorsque la mémoire est faible.
3. En cas d'échec du chargement du modèle, vérifiez si le chemin d'accès au fichier est correct.
4. Ajuster le niveau de détail de la description de l'histoire lorsque la génération n'est pas satisfaisante