VLOGGER de Google donne vie à des images virtuelles

Résumé : Les chercheurs de Google viennent de mettre au point VLOGGER, un nouveau modèle d'IA qui génère des vidéos réalistes de têtes parlantes avec des mouvements complets du haut du corps à partir d'images fixes et de clips audio.

Les détails :

VLOGGER crée un avatar contrôlable qui capture les similitudes et les actions.

Le modèle a été entraîné sur un vaste ensemble de données multimédia contenant 800 000 vidéos de personnes en train de parler et étiquetées pour chaque partie du visage et du corps.

Les applications potentielles comprennent le doublage de vidéos dans d'autres langues, la création d'avatars réalistes pour les jeux ou les assistants, et la prise en charge des discussions vidéo à faible bande passante.

IMPORTANT : Qu'il s'agisse de donner du réalisme aux assistants IA, de permettre le doublage vidéo en temps réel dans plusieurs langues ou de nous permettre de discuter en vidéo en incarnant nos avatars préférés, des modèles tels que VLOGGER sont une préfiguration fascinante d'un avenir où les frontières entre notre moi physique et notre moi numérique s'estomperont. Nouvelle approche.

adresse papier