VideoReTalking: Audio-gesteuertes Lippensynchronisations- und Videobearbeitungssystem

Allgemeine Einführung

VideoReTalking ist ein innovatives System, das es dem Benutzer ermöglicht, lippensynchrone Gesichtsvideos auf der Grundlage von Eingangsaudiosignalen zu erzeugen, wobei qualitativ hochwertige und lippensynchrone Ausgangsvideos auch bei unterschiedlichen Emotionen entstehen. Das System unterteilt dieses Ziel in drei aufeinanderfolgende Aufgaben: Erzeugung von Gesichtsvideos mit typischen Ausdrücken, audiogestützte Lippensynchronisation und Gesichtsverbesserung zur Verbesserung des Fotorealismus. Alle drei Schritte werden mit einem lernbasierten Ansatz bearbeitet, der ohne Benutzereingriff nacheinander ausgeführt werden kann. Erkunden Sie VideoReTalking und seine Anwendung zur audiogesteuerten Lippensynchronisation bei der Videobearbeitung von Talking Heads über den angegebenen Link.

(undeutlich, Videoqualität muss zweimal verbessert werden, etwas schlechte Lippensynchronisation auf Chinesisch)

Funktionsliste

Generierung von Gesichtsvideos: Generierung von Gesichtsvideos mit typischen Gesichtsausdrücken auf der Grundlage der Audioeingabe.
Audiogesteuerte Lippensynchronisation: Erzeugt lippensynchrones Video auf der Grundlage des vorgegebenen Audios.
Gesichtsverbesserung: Verbesserung des Fotorealismus von synthetischen Gesichtern durch ein identitätsbewusstes Gesichtsverbesserungsnetzwerk und Post-Processing.

Hilfe verwenden

Laden Sie das trainierte Modell herunter und speichern Sie es in `. /checkpoints`.
Führen Sie `python3 inference.py` aus, um eine schnelle Inferenz des Videos zu erhalten.
Ausdrücke können durch Hinzufügen der Argumente `--exp_img` oder `--up_face` kontrolliert werden.

Online-Erlebnis-Adresse

Dieser Inhalt wurde vom Autor versteckt, bitte geben Sie den Verifizierungscode ein, um den Inhalt zu sehen

Captcha:

Bitte achten Sie auf diese Website WeChat öffentliche Nummer, Antwort "CAPTCHA, eine Art von Challenge-Response-Test (Computertechnik)", um den Verifizierungscode zu erhalten. Suchen Sie in WeChat nach "Leiter des AI-Austauschkreises"oder"Looks-AI" oder WeChat Scannen der rechten Seite des QR-Codes kann die Aufmerksamkeit auf diese Website WeChat öffentliche Zahl zu zahlen.