Story-Adapter: Erzeugen Sie kontinuierliche und konsistente grafische Illustrationen auf der Grundlage einer langen Geschichte.

Allgemeine Einführung

Story-Adapter ist ein innovatives Framework zur Visualisierung von Geschichten, das Textgeschichten in kohärente Bildsequenzen umwandelt. Das von Forschern entwickelte Projekt verwendet einen iterativen Ansatz, der kein Training erfordert, um qualitativ hochwertige Story-Illustrationen zu erzeugen. Das Framework zeichnet sich durch seine Fähigkeit aus, lange Geschichten zu verarbeiten, die semantische Konsistenz zwischen den Bildern aufrechtzuerhalten und genaue Interaktionsdetails zu generieren. Story-Adapter basiert auf Diffusionsmodellierungstechniken und gewährleistet die Kohärenz und Qualität der generierten Bilder durch den Global Reference Cross Attention (GRCA) Mechanismus. Das Projekt ist vollständig quelloffen unter der MIT-Lizenz und bietet Forschern und Entwicklern ein leistungsfähiges Werkzeug zur Visualisierung von Geschichten.

Funktionsliste

• Unterstützung für die Visualisierung von langen Geschichten
• Bereitstellung eines iterativen Rahmens ohne Ausbildung
• Umsetzung des GRCA-Mechanismus (Global Reference Cross Attention)
• Aufrechterhaltung der semantischen Konsistenz zwischen Bildsequenzen
• Hochwertige, detaillierte Interaktionen generieren
• Unterstützung für benutzerdefinierte Story-Eingaben
• Integration von vortrainierten Modellen
• Unterstützt Stapelbilderzeugung
• Echtzeit-Vorschau der Visualisierungsergebnisse
• Unterstützt GPU-beschleunigte Verarbeitung

Hilfe verwenden

Umgebung Konfiguration

1. Systemanforderungen:
   • Python 3.10.14
   • PyTorch 2.2.2
   • CUDA 12.1
   • cuDNN 8.9.02
2. Installationsschritte:

# Klonen Sie das Repository
git clone https://github.com/jwmao1/story-adapter.git
cd story-adapter
# Erstellen und aktivieren Sie die conda-Umgebung
conda create -n StoryAdapter python=3.10
conda aktivieren StoryAdapter
# Installieren Sie die Abhängigkeiten
pip install -r anforderungen.txt

3. Laden Sie die erforderlichen Modelldateien herunter:
   • RealVisXL_V4.0: von Hugging Face heruntergeladen und in das Verzeichnis ". /RealVisXL_V4.0"-Verzeichnis.
   • CLIP Image Encoder: herunterladen und im Verzeichnis ". /IP-Adapter/sdxl_models/image_encoder" Verzeichnis.
   • IP-adapter_sdxl: herunterladen und in ". /IP-Adapter/sdxl_models/ip-adapter_sdxl.bin"

Verwendung

1. Grundlegender Demo-Lauf:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt Ihr_Pfad//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin

2. Benutzerdefinierte Geschichtenerstellung:

python run.py --base_model_path your_path/RealVisXL_V4.0 --image_encoder_path your_path/IP-Adapter/sdxl_models/image_encoder --ip_ckpt Ihr_Pfad//IP-Adapter/sdxl_models/ip-adapter_sdxl.bin --story [Text Ihrer Geschichte]

caveat

1. Sicherstellen, dass alle abhängigen Pakete und erforderlichen Modelldateien installiert sind
2. Prüfen Sie, ob der Grafikprozessor über genügend Speicher verfügt; es wird empfohlen, einen leistungsstarken Grafikprozessor zu verwenden.
3. Das Herunterladen und Laden des Modells ist für den ersten Lauf erforderlich und kann einige Zeit in Anspruch nehmen.
4. Die Qualität des erzeugten Bildes hängt von der Qualität der eingegebenen Geschichte und dem Detailgrad der Beschreibung ab
5. Es wird empfohlen, lange Geschichten in Stapeln zu bearbeiten, um optimale Ergebnisse zu erzielen.

Fehlerbehebung

1. Wenn Sie auf CUDA-bezogene Fehler stoßen, überprüfen Sie, ob die CUDA-Version mit
2. Stapelgröße kann bei geringem Speicherplatz angepasst werden
3. Wenn das Laden des Modells fehlschlägt, prüfen Sie, ob der Dateipfad korrekt ist
4. Passen Sie den Detaillierungsgrad der Storybeschreibung an, wenn die Generierung nicht zufriedenstellend ist.