TANGO: ein Tool zur Erstellung koordinierter Gestenvideos auf der Grundlage von Audio, Diktat

Allgemeine Einführung

TANGO ist ein quelloffenes Tool zur Generierung von Gestenvideos, das darauf ausgelegt ist, Audio mit Gesten in Videos genau zu synchronisieren. Das von der Universität Tokio und dem CyberAgent AI Lab entwickelte Tool nutzt fortschrittliche KI-Techniken, um eine qualitativ hochwertige Gestengenerierung in einer Vielzahl von Umgebungen zu ermöglichen. TANGO eignet sich für die Forschung, den akademischen und privaten Gebrauch und wird mit Trainingscode, Inferenzcode und vortrainierten Modellen geliefert.

Arbeiten Sie mit dem Tool Voice Lip Sync für ein komplettes digitales Personenprojekt:Sync , undWav2Lip

Funktionsliste

• Hochpräzise Gesten-Synchronisation: Synchronisieren Sie jedes Audio genau mit den Gesten im Video.
• Mehrsprachige Unterstützung: Funktioniert mit einer Vielzahl von Sprachen und Klängen, einschließlich CGI-Gesichtern und synthetischen Klängen.
• Open Source und kostenlos: Der Code ist vollständig öffentlich und kann von den Benutzern frei verwendet und verändert werden.
• Interaktive Demo: Bietet eine Online-Demo, in die Benutzer Video- und Audiodateien hochladen können, um sie zu erleben.
• Pre-Training-Modelle: Bieten eine Vielzahl von Pre-Training-Modelle, Benutzer können direkt verwenden oder sekundäre Ausbildung.
• Vollständiger Trainingscode: Enthält Trainingscode für den Gesten-Synchronisations-Diskriminator und das TANGO-Modell.

Hilfe verwenden

Ablauf der Installation

1. Klon-Lagerhaus :
   Bash-Kopie

git clonehttps://github.com/CyberAgentAILab/TANGO

1. Abhängigkeiten installieren:
   Bash-Kopie

Pip-Installation -r Anforderungen.txt

1. Download des trainierten Modells: Laden Sie das trainierte Modell in das angegebene Verzeichnis herunter, z. B. gesicht_erkennung/erkennung/sfd/s3fd.pth.
2. Führen Sie den Inferenzcode aus:
   Bash-Kopie

python inference.py --kontrollpunkt_pfad <ckpt> --Gesicht <video.mp4> --Audio <eine-Audio-Quelle>

Verwendung Prozess

1. Zugriff auf den lokalen Server: Öffnen im Browser http://localhost:3000.
2. Video und Audio hochladen: Laden Sie die Audio- und Videodateien, die Sie synchronisieren möchten, in das Eingabefeld hoch.
3. Gesten-Synchronisation durchführen: Tippen Sie auf die Schaltfläche "Synchronisieren", das System führt automatisch eine Gesten-Synchronisation durch.
4. Anzeigen und Herunterladen von Ergebnissen: Nach Abschluss der Synchronisierung können Sie eine Vorschau der Ergebnisse anzeigen und die synchronisierten Videodateien herunterladen.
5. Interaktive Demo verwenden: Laden Sie Video- und Audiodateien auf der Demo-Seite hoch, um den Effekt der Gestensynchronisation in Echtzeit zu erleben.
6. Projekte verwalten: Auf der Seite Meine Projekte können Sie alle hochgeladenen Projekte anzeigen und verwalten, mit Unterstützung für Versionskontrolle und Zusammenarbeit.

Erweiterte Funktionen

• Intelligente Gesten-Synchronisation: Verbessern Sie die Präsentation Ihrer Videoinhalte mit intelligenter Gesten-Synchronisation durch KI.
• Mehrsprachige Unterstützung: Wählen Sie verschiedene Sprachen und Stimmen entsprechend Ihren Projektanforderungen.
• Kundenspezifische Entwicklung: Da TANGO quelloffen ist, können Benutzer es nach ihren Bedürfnissen entwickeln.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>