Avatarify Python: Videogespräche mit Avataren in Videokonferenzen

Allgemeine Einführung

Avatarify Python ist ein quelloffenes KI-Videokonferenz-Tool, das auf der First Order Motion Model-Technologie basiert und die Gesichtsausdrücke und Bewegungen eines Benutzers in Echtzeit einem beliebigen Avatar zuordnet. Es wird von verschiedenen Videokonferenzsoftwares wie Zoom, Skype, Teams usw. unterstützt und ermöglicht es Benutzern, Videogespräche mit Avataren anstelle von echten Kameraaufnahmen zu führen. Das Tool unterstützt nicht nur die Verwendung von voreingestellten Prominenten-Avataren, sondern ermöglicht auch das Hinzufügen von benutzerdefinierten Avataren und sogar die Verwendung von KI-generierten Avataren virtueller Charaktere. Eine virtuelle Webcam wird beim Ausführen des Systems erstellt und kann in jeder Anwendung verwendet werden, die eine benutzerdefinierte Videoeingabequelle unterstützt.

Funktionsliste

• Gesichtsausdrücke und Bewegungen in Echtzeit, die virtuellen Avataren zugeordnet werden
• Unterstützt eine große Auswahl an voreingestellten Prominenten-Avataren und benutzerdefinierten Avataren
• Integration von StyleGAN-generierten AI-Avataren
• Bietet eine Funktion zum Zoomen des Kamerabildschirms und zur Einstellung der Position
• Unterstützt Avatar-Vorschau-Overlay zur Neupositionierung
• Schnelles Umschalten zwischen verschiedenen Avataren (Tastenkürzel 1-9)
• Unterstützt gespiegelten Vorschau- und Ausgabebildschirm
• Bietet eine Funktion zur Anzeige von Gesichtsmerkmalen zur Unterstützung der Ausrichtung
• Unterstützt von allen gängigen Videokonferenzsoftwareprogrammen
• Wahlmöglichkeit zwischen lokalem Betrieb und Remote-GPU-Beschleunigung

Hilfe verwenden

Systemanforderungen

1. Grundlegende Konfigurationsanforderungen:
   • Für den lokalen Betrieb ist eine NVIDIA-Grafikkarte (empfohlene Leistung) erforderlich:
     • GeForce GTX 1080 Ti: 33 fps
     • GeForce GTX 1070: 15 fps
     • GeForce GTX 950: 9 Bilder/Sek.
   • Wenn Sie keine NVIDIA-Grafikkarte haben, ist das eine Option:
     • Ferngesteuerte Ausführung mit Google Colab
     • Verwendung eines entfernten Servers mit einer GPU
     • Läuft auf der CPU (geringere Leistung, <1fps)

Installationsschritte

1. Installation des Windows-Systems:
   • Installation von Miniconda Python 3.8
   • Installation von Git
   • Öffnen Sie die Anaconda-Eingabeaufforderung und führen Sie sie aus:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     skripte\install_windows.bat
     

   • Laden Sie die Datei mit den Modellgewichten in das Verzeichnis avatarify-python herunter.
   • Installation von OBS Studio und VirtualCam-Plug-ins
2. Installation eines Linux-Systems:

   git clone https://github.com/alievk/avatarify-python.git
   cd avatarify-python
   bash-skripte/install.sh
   

3. Mac-System-Installation:
   • Installation von Miniconda Python 3.7
   • Installation von CamTwist
   • Führen Sie das Installationsskript aus:

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     bash-skripte/install_mac.sh
     

Richtlinien für die Verwendung

1. Leiten Sie das Verfahren ein:
   • Windows: Ausführenrun_windows.bat
   • Linux: Läuftbash run.sh
   • Mac: Folgen Sie den Anweisungen von Google Colab oder Remote Server
2. Operative Kontrollen:
   • Zifferntasten 1-9: Schnelles Umschalten zwischen den ersten 9 Avataren
   • Taste Q: KI-generierte Zufallsavatare aktivieren
   • Taste 0: Ein-/Ausblenden des Avatars umschalten
   • A/D-Taste: Umschalten zwischen vorherigem und nächstem Avatar
   • W/S-Taste: Vergrößern/Verkleinern des Kamerabildschirms
   • U/H/J/K-Tasten: nach oben/links/unten/rechts zum Verschieben des Kamerabildschirms
   • Z/C-Taste: Transparenz des Avatar-Overlays einstellen
   • Taste X: Referenzrahmen zurücksetzen
   • F-Taste: Umschalten des Referenzrahmen-Suchmodus
   • Taste O: Gesichtspunkte ein-/ausblenden
   • ESC-Taste: Beenden des Programms
3. Avatar Fahr-Tipps:
   • Position und Proportionen des Gesichts im Kamerarahmen so nah wie möglich am Ziel-Avatar halten
   • Anpassen der Mimik mit Hilfe der Transparenz-Overlay-Funktion (Taste Z/C) oder der Anzeige von Gesichtsmerkmalen (Taste O)
   • Sie können die Taste F verwenden, damit die Software automatisch einen besseren Bezugsrahmen findet.
4. Wird in Videokonferenzsoftware verwendet:
   • Zoom: Einstellungen -> Video -> Virtuelle Kamera auswählen
   • Skype: Einstellungen -> Audio und Video -> Virtuelle Kamera auswählen
   • Teams: Profilbild -> Einstellungen -> Geräte -> Virtuelle Kamera auswählen
   • Slack: Anruf tätigen -> Browser die Verwendung der Kamera erlauben -> Einstellungen -> Virtuelle Kamera auswählen