Go-with-the-Flow: Steuert die Bewegung von Objekten im Video, wobei alle sich bewegenden Objekte im Video addiert oder subtrahiert werden.

Allgemeine Einführung

Go-with-the-Flow ist ein Open-Source-Projekt, das vom Forschungsteam der Netflix Eyeline Studios entwickelt wurde, um die Bewegungsmuster von Videodiffusionsmodellen durch Verzerrung des Rauschens zu steuern. Mit dem Projekt können Benutzer bestimmen, wie sich Kameras und Objekte in einer Szene bewegen, und sogar Bewegungsmuster von einem Video auf ein anderes übertragen.Go-with-the-Flow erreicht dies durch Feinabstimmung des zugrunde liegenden Modells ohne Änderung der ursprünglichen Pipeline oder Architektur. Der Code und die Modelle des Projekts sind Open Source und können von den Nutzern frei verwendet und verändert werden.

ComfyUI-Knoten: https://github.com/kijai/ComfyUI-VideoNoiseWarp

Funktionsliste

• Steuerung von Scher- und SchleppbewegungenBenutzer können Videos erstellen, indem sie verschiedene Teile eines Bildes ausschneiden und sie herumziehen.
• Verbreitung von VideosDie Umwandlung einer groben Animation in eine schöne Animation erfordert den Einsatz des Grafikprozessors.
• RauschverzerrungVerwenden Sie verzerrtes Rauschen anstelle von reinem Gaußschen Rauschen, um eine natürlichere Bewegung zu erzielen.
• Bewegungsmodus VerschiebungBewegungsmuster von einem Video auf ein anderes übertragen.
• Grafische Benutzeroberfläche (GUI)Bietet ein natives GUI für vom Benutzer erstellte Animationen.
• offene QuelleAlle Codes und Modelle sind quelloffen und können von den Benutzern frei zugänglich gemacht und verändert werden.

Hilfe verwenden

Einbauverfahren

1. Klon-Lagerhaus:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow

2. Installieren Sie lokale Abhängigkeiten:

   pip install -r requirements_local.txt

3. Starten Sie die GUI:

   python cut_and_drag_gui.py

Folgen Sie den Anweisungen in der grafischen Benutzeroberfläche, um den Vorgang abzuschließen. Die erzeugten MP4-Dateien müssen zur weiteren Verarbeitung auf einen Computer mit einem Grafikprozessor übertragen werden.

Verwendungsprozess

1. Klonen Sie das Repository und installieren Sie die Abhängigkeiten auf einem Computer mit einem Grafikprozessor:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow
pip install -r requirements.txt

2. Verzerrendes Rauschen:

   python make_warped_noise.py <视频路径或 URL> --output_folder noise_warp_output_folder

3. Running Reasoning:

   python cut_and_drag_inference.py noise_warp_output_folder \
--prompt "A duck splashing" \
--output_mp4_path "output.mp4" \
--device "cuda" \
--num_inference_steps 5

Passen Sie Ordnerpfade, Stichwortwörter und andere Hyperparameter nach Bedarf an. Die Ausgabe wird gespeichert als output.mp4.

Hauptfunktionen

• Steuerung von Scher- und SchleppbewegungenWählen Sie verschiedene Teile des Bildes in der GUI aus und ziehen Sie sie, um grobe Animationen zu erstellen.
• Verbreitung von VideosÜbertragen Sie grobe Animationsdateien auf einen Computer mit einem Grafikprozessor und führen Sie Inferenzskripte aus, um schöne Animationen zu erzeugen.
• Rauschverzerrung: Verwendung make_warped_noise.py Das Skript erzeugt Verzerrungsgeräusche für natürlichere Bewegungseffekte.
• Bewegungsmodus VerschiebungAnwenden von Bewegungsmustern von einem Video auf ein anderes durch Anpassen von Hinweisen und Hyperparametern.

Detaillierte Vorgehensweise

1. Ausschneiden und ZiehenLaden Sie ein Bild in die GUI und verwenden Sie die Maus, um verschiedene Teile des Bildes auszuwählen und zu ziehen, um grobe Animationen zu erstellen.
2. Erzeugen von verzerrtem RauschenLäuft auf einem Computer mit einem Grafikprozessor make_warped_noise.py Skript, das die Datei mit dem Verzerrungsrauschen erzeugt.
3. logische Schlussfolgerung: Verwendung cut_and_drag_inference.py Skripte, die grobe Animationen in schöne Animationen für die Ausgabe in MP4-Dateien umwandeln.
4. AnpassungsparameterCues, Hyperparameter und Dateipfade nach Bedarf anpassen, um beste Ergebnisse zu erzielen.

Mit den oben genannten Schritten können Benutzer die Bewegungsmuster des Videos leicht erstellen und kontrollieren, um qualitativ hochwertige Videos und Animationen zu erstellen.