AnimeGamer: Ein Open-Source-Tool zur Generierung von Anime-Videos und Charakter-Interaktionen mit linguistischen Befehlen

Allgemeine Einführung

AnimeGamer ist ein Open-Source-Tool von Tencents ARC Lab. Benutzer können Anime-Videos mit einfachen sprachlichen Befehlen erstellen, wie z. B. "Sousuke fährt in einem lila Auto herum", und verschiedene Anime-Figuren miteinander interagieren lassen, wie z. B. Kiki aus Magical Girl's Adventure und Pazu aus Castle in the Sky. Es basiert auf dem Multimodal Large Language Model (MLLM), das automatisch kohärente animierte Segmente erstellt und dabei den Status der Figur aktualisiert, z. B. ihre Ausdauer oder ihre sozialen Werte. Der Projektcode und das Modell sind frei und offen auf GitHub für Anime-Fans und Entwickler zum Erstellen oder Experimentieren.

Funktionsliste

• Animationsvideo generieren: Geben Sie Sprachbefehle ein, um automatisch Animationsclips von Charakterbewegungen und Szenen zu generieren.
• Unterstützung von Charakterinteraktion: Lassen Sie verschiedene Anime-Charaktere aufeinandertreffen und interagieren, um neue Geschichten zu erschaffen.
• Aktualisierter Charakterstatus: Echtzeit-Aufzeichnung von Änderungen der Charakterwerte wie Ausdauer, Soziales und Unterhaltung.
• Konsistente Inhalte: Sorgen Sie für konsistente Videos und einen einheitlichen Status auf der Grundlage historischer Anweisungen.
• Open-Source-Erweiterungen: Der vollständige Code und die Modelle werden bereitgestellt und können von den Entwicklern frei angepasst werden.

Hilfe verwenden

AnimeGamer erfordert ein wenig Programmierkenntnisse, aber die Installation und die Nutzung sind nicht schwierig. Hier finden Sie eine detaillierte Anleitung, damit Sie schnell loslegen können.

Einbauverfahren

1. Vorbereiten der Umgebung
   Sie benötigen einen Python-fähigen Computer, vorzugsweise mit einer GPU (mindestens 24 GB Videospeicher). Installieren Sie Git und Anaconda und geben Sie dann in das Terminal ein:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

Erstellen Sie eine virtuelle Umgebung:

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. Installation von Abhängigkeiten
   Läuft in einer virtuellen Umgebung:

pip install -r requirements.txt

Dadurch werden die erforderlichen Bibliotheken wie PyTorch installiert.

3. Modelle herunterladen
   Laden Sie die drei Modelldateien herunter auf ./checkpoints Mappe:

• AnimeGamer-Modell:Gesicht umarmen.
• Modell Mistral-7B:Gesicht umarmen.
• Das 3D-VAE-Modell von CogvideoX: weiter zu checkpoints Ordner, ausführen:

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

Vergewissern Sie sich, dass die Modelle alle an der richtigen Stelle stehen.

4. Probeaufbau
   Kehren Sie in das Heimatverzeichnis zurück und führen Sie das Programm aus:

python inference_MLLM.py

Kein Fehler bedeutet, dass die Installation erfolgreich war.

Verwendung der wichtigsten Funktionen

Im Kern generiert AnimeGamer Videos und Charakterinteraktionen durch verbale Befehle. So funktioniert es:

Erzeugen von Anime-Videos

• umziehen

1. Compiler ./game_demo Befehlsdatei in einem Ordner wie instructions.txt.
2. Gib einen Befehl ein, z. B. "Sousuke fährt in einem lila Auto im Wald herum".
3. Führen Sie MLLM aus, um eine Darstellung zu erzeugen:

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. In Video dekodieren:

python inference_Decoder.py

5. Das Video wird im Ordner ./outputs Mappe.

• zur Kenntnis nehmen
  Die Anweisungen sollten mit klaren Zeichen, Handlungen und Szenen geschrieben werden, damit das Video den Erwartungen besser entspricht.

Charakter-Interaktion

• umziehen

1. Gib einen interaktiven Befehl ein, z. B. "Kiki bringt Pazuzu das Besenfliegen bei".
2. Führen Sie die oben genannten Schritte durch, um ein interaktives Video zu erstellen.

• Besonderheiten
  Ermöglicht das Mischen und Interagieren mit verschiedenen Anime-Charakteren, um einzigartige Szenen zu schaffen.

Zeichenstatus aktualisieren

• umziehen

1. Fügen Sie dem Befehl eine Zustandsbeschreibung hinzu, z. B. "Sousuke ist nach dem Laufen müde".
2. in Bewegung sein inference_MLLM.pyDer Status wird aktualisiert zu ./outputs/state.json.

• auf etw. aufmerksam machen
  Der Status wird automatisch gemäß den historischen Anweisungen angepasst, um die Konsistenz zu wahren.

Individuelle Gestaltung und technische Details

Möchten Sie ein Merkmal ändern? Sie können es direkt bearbeiten ./game_demo Die Technik von AnimeGamer funktioniert in drei Schritten:

1. Nach der Verarbeitung der Aktionsdarstellung mit einem Encoder erzeugt der Diffusionsdecoder das Video.
2. MLLM prognostiziert den nächsten Zustand auf der Grundlage historischer Anweisungen.
3. Optimieren Sie den Decoder, um die Videoqualität zu verbessern.
   Weitere Details finden Sie in der README.md von GitHub.

neueste Entwicklungen

• 2. April 2025: Veröffentlichung der Modellgewichte und -papiere für Das Hexenhaus und Goldfischmädchen auf der Klippe (arXiv).
• 1. April 2025: Freigabe des Inferenzcodes.
• Zukünftige Pläne: Einführung von interaktiven Gradio-Demos und Schulungscode.

Häufig gestellte Fragen

• Langsame Generation? Vergewissern Sie sich, dass die GPU über genügend Speicher verfügt (24 GB), oder aktualisieren Sie die Treiber.
• Modell-Download fehlgeschlagen? Manuelles Herunterladen von Hugging Face.
• Einen Fehler melden? Überprüfen Sie die Python-Version (3.10 erforderlich) und die Abhängigkeiten.

Mit diesen Schritten kannst du mit AnimeGamer Anime-Videos und Charakter-Interaktionen erstellen.

Anwendungsszenario

1. Anime- und Manga-Erstellung
   Anime-Fans können damit Videos erstellen, in denen verschiedene Charaktere interagieren, und sie mit Freunden teilen.
2. Spiele-Tests
   Entwickler können damit schnell Prototypen dynamischer Inhalte erstellen und Ideen testen.
3. Lernen in Aktion
   Die Schüler können damit etwas über multimodale Technologie und Videogenerierung lernen und praktische Erfahrungen mit KI sammeln.

QA

1. Programmierkenntnisse erforderlich?
   Ja, für die Installation und das Tuning sind grundlegende Python-Kenntnisse erforderlich, aber auch einfache Befehle funktionieren.
2. Welche Rollen werden unterstützt?
   Unterstützung für Magical Girl's Home Companion und Goldfish Hime on the Cliff jetzt, mit Erweiterung in der Zukunft.
3. Ist sie im Handel erhältlich?
   Ja, aber folgen Sie dem Apache-2.0-Protokoll, siehe GitHub für Details.