HelloMeme: Erzeugen Sie lokale High-Fidelity-Ausdruck Aktion konsistente Bild oder Video, Runway Act ein Open-Source-Ping-Pong!

Allgemeine Einführung

HelloMeme ist ein Open-Source-Projekt, das von HelloVision entwickelt wurde, um qualitativ hochwertige Bilder und Videos durch die Integration von Spatial Knitting Attentions zu generieren, um High-Level- und High-Fidelity-Bedingungen in Diffusionsmodelle einzubetten. Der Projektcode und die Modellimplementierung werden auf GitHub gehostet und können von den Nutzern frei heruntergeladen und verwendet werden. HelloMeme bietet eine Vielzahl von Funktionsmodulen, einschließlich Bilderzeugung, Videoerzeugung und Integration mit Gradio und ComfyUI Die Integration ist benutzerfreundlich für eine Vielzahl von Experimenten und Anwendungen.

Verwandt:

LivePortrait: Animationswerkzeug zur Erstellung dynamischer Porträts aus Standbildern und Videos(offene Quelle)

ConsisID: eine Porträt-Referenzkarte zur Erzeugung zeichenkonsistenter Videos, schnelle Integration mehrerer Terminals(offene Quelle)

Reface: Ersetzen von Gesichtern und Erstellen von Videos mithilfe von KI, um lustige animierte Bilder zu erstellen (kostenpflichtig)

Funktionsliste

• BilderzeugungGenerieren Sie qualitativ hochwertige Bilder aus Referenz- und Treiberbildern.
• Generation VideoGenerieren von originalgetreuen Videos auf der Grundlage von Referenz- und Fahrervideos.
• Gradio-IntegrationGradio: Bietet eine Gradio-Schnittstelle für die Benutzerinteraktion.
• ComfyUI-IntegrationUnterstützt die ComfyUI-Schnittstelle zur Vereinfachung der Benutzerführung.
• Experimentelle ModuleEnthält eine Vielzahl von experimentellen Codes, die es dem Benutzer erleichtern, verschiedene Experimente und Tests durchzuführen.
• effizienter AlgorithmusOptimierung von Algorithmen zur Verringerung der VRAM-Nutzung und zur Verbesserung der Generierungseffizienz.

Hilfe verwenden

Ablauf der Installation

1. Erstellen einer Conda-Umgebung::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. Installation von PyTorch und FFmpegBitte lesen Sie die offiziellen PyTorch- und FFmpeg-Webseiten für eine detaillierte Installation.
3. Installation von Abhängigkeiten::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. Klon-Lager::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. laufender Code::
   • Bilderzeugung: bash
python inference_image.py

   • Video Generation: bash
python inference_video.py

6. Installation der Gradio-Anwendung::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

Funktion Betriebsablauf

Bilderzeugung

1. Vorbereiten des EingabebildesVorbereiten des Referenzbildes und des Laufwerksbildes.
2. Führen Sie das Skript zur Bilderzeugung aus::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. Generierte Ergebnisse anzeigen: Das erzeugte Bild wird im angegebenen Verzeichnis gespeichert.

Generation Video

1. Vorbereiten der VideoeingabeVorbereitung von Referenzvideos und Fahrervideos.
2. Führen Sie das Skript zur Videoerstellung aus::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. Generierte Ergebnisse anzeigenDas erzeugte Video wird im angegebenen Verzeichnis gespeichert.

Verwendung der Gradio-Schnittstelle

1. Starten der Gradio-Anwendung::

   python app.py

2. Zugang über Browser: Öffnen Sie Ihren Browser und besuchen Sie http://localhost:7860Die Gradio-Schnittstelle kann für die Erstellung von Bildern und Videos verwendet werden.

Verwendung der ComfyUI-Schnittstelle

1. ComfyUI installierenBitte besuchen Sie die offizielle Website von ComfyUI für die Installation.
2. HelloMeme ausführen::

   python comfyui_hellomeme.py

3. Bedienung über ComfyUI-SchnittstelleWählen Sie die gewünschte Bild- oder Videogenerierungsfunktion, laden Sie die Referenz- und Treiberdateien hoch und klicken Sie auf die Schaltfläche Generieren.

caveat

• abhängige VersionBitte beachten Sie die Versionsanforderung für die Diffusoren, derzeit werden folgende Versionen unterstützt Diffusoren==0.31.0.
• VRAM-NutzungJe länger das Laufwerksvideo ist, desto mehr VRAM wird bei der Videoerstellung benötigt. Bitte passen Sie den Wert entsprechend der tatsächlichen Situation an.
• Modell DownloadBeim ersten Durchlauf werden alle Modelle automatisch heruntergeladen, was länger dauern kann.