Hallo2: Audio-gesteuerte Erzeugung von lippensynchronen/ausdrucks-synchronen Portraitvideos (Ein-Klick-Installation für Windows)

Allgemeine Einführung

Hallo2 ist ein Open-Source-Projekt, das gemeinsam von der Fudan-Universität und Baidu entwickelt wurde, um hochauflösende Porträtanimationen durch audiogesteuerte Generierung zu erzeugen. Das Projekt nutzt fortschrittliche Generative Adversarial Networks (GAN) und Techniken zur zeitlichen Ausrichtung, um eine 4K-Auflösung und eine Videogeschwindigkeit von bis zu einer Stunde zu erreichen. Hallo2 unterstützt auch Textaufforderungen, um die Vielfalt und Kontrollierbarkeit der generierten Inhalte zu verbessern.

Funktionsliste

• Audiogesteuerte AnimationserzeugungGenerieren Sie die entsprechende Porträtanimation, indem Sie eine Audiodatei eingeben.
• Unterstützung für hohe AuflösungUnterstützung für die Erstellung von Videos mit 4K-Auflösung, um eine klare Bildqualität zu gewährleisten.
• Erzeugung langer VideosKann Videoinhalte mit einer Länge von bis zu 1 Stunde erstellen.
• Erweiterung des TextalarmsSteuerung der generierten Porträtausdrücke und Aktionen durch semantische Textbeschriftungen.
• offene QuelleVollständiger Quellcode und vortrainierte Modelle werden bereitgestellt, um die Sekundärentwicklung zu erleichtern.
• Unterstützung mehrerer PlattformenUnterstützt die Ausführung auf mehreren Plattformen wie Windows, Linux, etc.

Hilfe verwenden

Ablauf der Installation

1. Systemanforderungen::
   • Betriebssystem: Ubuntu 20.04/22.04
   • GPU: Grafikkarte mit Unterstützung für CUDA 11.8 (z. B. A100)
2. Erstellen einer virtuellen Umgebung::

   conda erstellen -n hallo python=3.10
   conda hallo aktivieren
   

3. Installation von Abhängigkeiten::

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   pip install -r anforderungen.txt
   sudo apt-get install ffmpeg
   

4. Download des vortrainierten Modells::

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo2 pretrained_models
   

Verwendung Prozess

1. Vorbereiten der Dateneingabe::
   • Laden Sie das benötigte trainierte Modell herunter und bereiten Sie es vor.
   • Bereiten Sie das Quellbild und die Treiber-Audiodateien vor.
2. Ausführen von Inferenzskripten::

   python scripts/inference.py --source_image path/to/image --driving_audio path/to/audio
   

3. Generierte Ergebnisse anzeigen::
   • Die erzeugte Videodatei wird im angegebenen Ausgabeverzeichnis gespeichert und kann mit einem beliebigen Videoplayer angesehen werden.

Detaillierte Schritte

1. Code herunterladen::

   git clone https://github.com/fudan-generative-vision/hallo2
   cd hallo2
   

2. Erstellen und Aktivieren einer virtuellen Umgebung::

   conda erstellen -n hallo python=3.10
   conda hallo aktivieren
   

3. Installieren Sie die erforderlichen Python-Pakete::

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   pip install -r anforderungen.txt
   

4. ffmpeg installieren::

   sudo apt-get install ffmpeg
   

5. Download des vortrainierten Modells::

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo2 pretrained_models
   

6. Ausführen von Inferenzskripten::

   python scripts/inference.py --source_image path/to/image --driving_audio path/to/audio
   

7. Generierte Ergebnisse anzeigen::
   • Die erzeugte Videodatei wird im angegebenen Ausgabeverzeichnis gespeichert und kann mit einem beliebigen Videoplayer angesehen werden.

Hallo2: Windows Ein-Klick-Installationsprogramm

Dieser Inhalt wurde vom Autor versteckt. Bitte geben Sie den Verifizierungscode ein, um den Inhalt zu sehen.

Captcha:

Bitte beachten Sie diese Website WeChat öffentliche Nummer, Antwort "CAPTCHA, eine Art Challenge-Response-Test (Computer)", erhalten Sie den Verifizierungscode. Suchen Sie in WeChat nach "Chef-KI-Austauschkreis"oder"Looks-AI" oder WeChat, indem Sie die rechte Seite des QR-Codes scannen, können Sie die öffentliche WeChat-Nummer dieser Website aufrufen.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>