VACE: Open-Source-Modell für die Erstellung und Bearbeitung von Videos (nicht offen)

Allgemeine Einführung

VACE ist ein Open-Source-Projekt, das von Alitongyi Visual Intelligence Lab (ali-vilab) entwickelt wurde und sich auf die Erstellung und Bearbeitung von Videos konzentriert. Es handelt sich um ein All-in-One-Tool, das eine Vielzahl von Funktionen integriert, wie z. B. die Erstellung von Videos auf der Grundlage von Referenzen, die Bearbeitung vorhandener Videoinhalte, Lokalisierungsänderungen und so weiter. Ziel des im März 2025 offiziell veröffentlichten Projekts ist es, Benutzern die Möglichkeit zu geben, komplexe Videoverarbeitungsaufgaben mit einem einzigen Modell zu erledigen. Sein Code wird auf GitHub gehostet, so dass jeder ihn kostenlos herunterladen, studieren und verbessern kann. Das Team, das dahinter steht, verlässt sich auf die starke technische Unterstützung von Ali und kombiniert die neuesten Errungenschaften der künstlichen Intelligenz und der Videoverarbeitung, um den Nutzern eine leistungsstarke und dennoch praktische Erstellungsplattform zu bieten.

Funktionsliste

• Video der Referenzgeneration (R2V)Generieren von brandneuen Videoinhalten auf der Grundlage von vorgegebenem Referenzmaterial wie Bildern oder Videoclips.
• Video-zu-Video-Bearbeitung (V2V)Ändern Sie den Gesamtstil oder den Inhalt eines vorhandenen Videos, indem Sie beispielsweise den Farbton anpassen oder den Hintergrund ersetzen.
• Maskierte Videobearbeitung (MV2V)Lokale Bearbeitung wird unterstützt, so dass Benutzer bestimmte Bereiche des Videos für die Bearbeitung mit einer Maske auswählen können.
• BewegungssteuerungPasst die Bewegungsbahn von Objekten in einem Video an, z. B. um eine Figur an eine bestimmte Position zu bewegen.
• Austausch des HauptgehäusesErsetzen Sie ein Subjekt (z. B. eine Person oder ein Objekt) in einem Video durch etwas anderes.
• Bildschirm-ErweiterungErweitern Sie das Videobild, um Bilder über die ursprünglichen Grenzen hinaus zu erzeugen.
• Animation GenerationUmwandlung von Standbildern in dynamische Animationseffekte.

Hilfe verwenden

VACE ist ein Open-Source-Projekt, das sich hauptsächlich an Benutzer mit einer gewissen technischen Basis richtet. Es hat keine fertige grafische Oberfläche und muss durch Code ausgeführt werden. Im Folgenden finden Sie eine ausführliche Anleitung, die Ihnen einen schnellen Einstieg ermöglicht.

Ablauf der Installation

1. Vorbereiten der Umgebung
   • Stellen Sie sicher, dass Sie Python 3.9 oder höher auf Ihrem Computer installiert haben. Sie können dies in der Kommandozeile tun, indem Sie Folgendes eingeben python --version Prüfen.
   • Installieren Sie das Git-Tool zum Herunterladen von Code von GitHub, das für Windows- und Mac-Benutzer unter git-scm.com heruntergeladen werden kann. brew install git Einbau.
   • NVIDIA GPU- und CUDA-Unterstützung ist erforderlich, da VACE auf GPU-Beschleunigung angewiesen ist. Wenn Sie keinen Grafikprozessor haben, können Sie den CPU-Modus verwenden, aber die Leistung wird dadurch beeinträchtigt.
2. Code herunterladen
   • Öffnen Sie ein Terminal (CMD oder PowerShell für Windows, Terminal für Mac).
   • Geben Sie den folgenden Befehl ein, um das VACE-Repository zu klonen:

     git clone https://github.com/ali-vilab/VACE.git
     

   • Sobald das Klonen abgeschlossen ist, gehen Sie zum Projektordner:

     cd VACE
     

3. Installation von Abhängigkeiten
   • VACE erfordert die Unterstützung einer Python-Bibliothek. Führen Sie den folgenden Befehl aus, um sie zu installieren:

     pip install -r anforderungen.txt
     

   • Wenn Sie einen Fehler erhalten, überprüfen Sie Ihre Netzwerkverbindung oder aktualisieren Sie Ihr Pip (mit dem pip install --upgrade pip).
   • Für GPU-Nutzer sollten Sie sicherstellen, dass Sie PyTorch und die entsprechende CUDA-Version installieren:

     pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
     

4. Überprüfen der Installation
   • Sobald die Installation abgeschlossen ist, führen Sie einen einfachen Testbefehl aus, um zu überprüfen, ob die Umgebung in Ordnung ist:

     python -c "import torch; print(torch.cuda.is_available())"
     

   • Wenn die Rückgabe WahrWenn es sich FalschWenn Sie keine CUDA-Installation haben, müssen Sie möglicherweise die CUDA-Installation überprüfen.

Wie zu verwenden

Der Betrieb von VACE erfolgt hauptsächlich über die Kommandozeile, wo der Benutzer Konfigurationsdateien schreiben und Python-Skripte ausführen muss. Nachfolgend finden Sie einen detaillierten Ablauf der Hauptfunktionen.

Funktion 1: Referenzgeneration Video (R2V)

• umziehen
  1. Bereiten Sie Referenzmaterial vor, z. B. ein Bild (JPG, PNG) oder ein Video (MP4-Format).
  2. Erstellen Sie eine Konfigurationsdatei, z. B. config_r2v.yamlDer Inhalt bezieht sich auf die Beispiele auf GitHub (normalerweise im Konfigs (Ordner). Die Konfigurationsdatei gibt den Eingabepfad und die Ausgabeparameter wie Auflösung, Bildrate usw. an.
  3. Führen Sie den Befehl im Terminal aus:

     python inference.py --cfg config_r2v.yaml
     

  4. Das erzeugte Video wird im angegebenen Ausgabeordner gespeichert (Standard ist Ausgabe (Ordner).
• typisches Beispiel
  • Geben Sie ein Bild eines kleinen Jungen mit einer Beschreibung in die Konfigurationsdatei ein: "Kleiner Junge läuft im Sonnenschein nach rechts". Bei der Ausführung generiert VACE ein Video des laufenden Jungen.

Funktion 2: Video-zu-Video-Bearbeitung (V2V)

• umziehen
  1. Bereiten Sie ein Video vor, das bearbeitet werden muss, z. B. input.mp4.
  2. Konfigurationsdatei bearbeiten config_v2v.yamlWenn Sie den Hintergrund in Grünland ändern möchten, geben Sie das Ziel der Bearbeitung an, z. B. "Hintergrund in Grünland ändern".
  3. Befehl ausführen:

     python inference.py --cfg config_v2v.yaml
     

  4. Das bearbeitete Video wird automatisch gespeichert.
• typisches Beispiel
  • Geben Sie ein Video einer Stadtstraße ein, in der Konfigurationsdatei steht "Hintergrund durch Wald ersetzen", das Ergebnis ist eine Figur, die durch den Wald läuft.

Funktion 3: Maskierte Videobearbeitung (MV2V)

• umziehen
  1. Bereiten Sie das Video und die Maskendatei vor (die Maske ist ein schwarz-weißes Bild, der weiße Bereich zeigt den Bearbeitungsteil an).
  2. In der Konfigurationsdatei config_mv2v.yaml Geben Sie den Videopfad und den Maskenpfad im Abschnitt "Maske" an und legen Sie den Bearbeitungsinhalt fest, z. B. "Ersetze den Maskenbereich durch einen Löwen".
  3. Befehl ausführen:

     python inference.py --cfg config_mv2v.yaml
     

  4. Zeigen Sie die Ergebnisse an und der maskierte Bereich wird ersetzt.
• typisches Beispiel
  • Geben Sie das Video des Coffeeshops ein, wählen Sie die Tassen auf dem Tisch in der Maske aus, ersetzen Sie sie durch "ein Kätzchen", das Ergebnis ist, dass die Katze auf dem Tisch erscheint.

Funktion 4: Bewegungssteuerung und Subjektwechsel

• umziehen
  1. Bereiten Sie ein Video und eine Beschreibung der Zielhandlung vor, z. B. "Bring das Pferd dazu, nach links zu laufen".
  2. Legen Sie die Aktionsparameter fest oder ersetzen Sie den Textkörper (z. B. "Pferd durch Kuh ersetzt") in der Konfigurationsdatei.
  3. Führen Sie den Befehl aus, um ein neues Video zu erstellen.
• typisches Beispiel
  • Geben Sie ein Reitvideo ein, stellen Sie "Pferd läuft nach rechts, ersetzen Sie durch lilahaarige Reiterin" ein, das Ergebnis ist eine lilahaarige Reiterin, die auf einem Pferd nach rechts läuft.

Vorsichtsmaßnahmen bei der Handhabung

• Format der KonfigurationsdateiYAML-Dateien sind streng, achten Sie auf Einrückung und Syntax.
• Hardware-VoraussetzungGPUs mit mindestens 12 GB RAM werden empfohlen, andernfalls müssen Sie möglicherweise die Parameter anpassen, um den Speicherbedarf zu verringern.
• Tipps zur FehlersucheWenn etwas schief geht, prüfen Sie die Terminalprotokolle. Häufige Probleme sind Pfadfehler oder fehlende Abhängigkeiten.
• Unterstützung der GemeinschaftSie können auf der Issues-Seite von GitHub Fragen stellen, die von den Entwicklern und der Community beantwortet werden.

Mit diesen Schritten können Sie ganz einfach Videos mit VACE erstellen und bearbeiten. Seine Stärke liegt in seiner Flexibilität, die es Ihnen ermöglicht, eine Vielzahl kreativer Ideen zu verwirklichen, sofern Sie mit der Konfiguration vertraut sind.