Plate-forme de création vidéo "Searchlight" de l'Institut Dharma Revue complète

Reçu plus tôt dans la journée"recherche de la lumière"Une notification indiquant que la demande de test interne a été approuvée, et une brève évaluation publiée avant l'heure du coucher.

La plateforme est positionnée comme la "plateforme d'application des capacités de la technologie de la vision" de l'Institut Dharma, et il y a moins d'applications à l'heure actuelle (par rapport au lancement), mais on s'attend à ce que davantage d'applications de la vision soient ouvertes progressivement.

La recherche de lumière est divisée en deux adresses :

https://xunguang.damo-vision.com/ (IA à la recherche de lumière)

https://damo-vision.com/ (ressemble à une plateforme pour tester des fonctionnalités moins matures, à placer à la fin de l'explication, ici nous l'appelons "Seek Light AI small feature test")

IA à la recherche de lumière

Il semble qu'il veuille appliquer toutes sortes de technologies de pointe pour couvrir toutes sortes de besoins.éditeur visuelScène. Il semblerait que Seeking Light soit la première entreprise du pays dans le domaine de l'éclairage. RunwayML .

Contrôle de la bouche

Nous avons étudié l'effet de la synchronisation buccale en utilisant des personnes réelles, des images animées, des photos et des vidéos, quatre types de matériel respectivement.

Remarque : le nombre total de pixels (longueur*largeur) de la résolution du clip vidéo/image test actuel est requis (256*256 ~ 2048*2048).

En utilisant généralement des images animées, de petites boucles de vidéo sont générées pour de meilleurs résultats, commencez ici :

Effet du test : (comprimé environ 3 fois)

Utilisez l'image pour la générer à nouveau :

Problèmes d'éclairage des visages des personnages d'anime, éclairage facial non naturel après synchronisation de la bouche.

Générez-le à nouveau en utilisant des images d'action réelle (sans essayer la vidéo d'action réelle, le résultat global sera un peu meilleur qu'une image d'un seul personnage) :

Contrôle de l'expression

Contrôlez avec précision les expressions faciales des personnes dans une image ou une vidéo afin de générer une vidéo correspondant au modèle d'expression.

Effets du test :

contrôle du miroir

Effets du test :

Le mouvement est un peu large, et vous pouvez voir que les dernières images de l'image capturée sont mal rendues :

Elimination des cibles

Élimination de clips dans la vidéo, offrant une sélection, un cadrage et un effacement intelligents. Ici, on tente d'éliminer les cibles statiques, mais les cibles statiques ont des arrière-plans légèrement plus complexes.

Vous pouvez essayer d'éliminer vous-même les éléments qui se déplacent de façon spectaculaire, tels que les voitures en excès de vitesse, les piétons qui marchent et les objets immobiles dans les miroirs.

effet du test

changement de style

En l'absence de vidéo, les résultats sont un peu moins bons, avec un écran qui clignote, alors voici une interception d'une image un peu meilleure.

Test de mini-fonctionnement de l'IA à la recherche de lumière

Après s'être connecté et avoir accédé à la page d'accueil, on ne voit que l'habillage virtuel et l'édition de la posture, la fonction est encore relativement basique.

La fonction de génération 3D affichée sur la page d'accueil nécessite une application séparée.

Virtual Dress Up Review

Tout d'abord, jetons un coup d'œil positif sur une jeune femme qui porte un petit costume. On peut voir ici les mains correctement représentées sur le costume. Cependant, cette grande partie peut être limitée par le modèle et est généralement rétrécie et non manipulée en fonction de la forme du corps du personnage original, et la couleur de la peau a changé.

Le test précédent portait sur un seul vêtement long, puis sur l'effet en temps réel d'un vêtement court avec le haut et le bas :

Je sais que certaines d'entre vous se demandent si les bas longs plus permettent de rentrer la jupe longue dans le pantalon ? Je vous conseille vivement de ne pas le faire...

Éditeur de posture

Cette fois-ci, nous utiliserons un modèle professionnel pour ajuster la posture. Après avoir téléchargé la photo du modèle, la première étape consiste à "obtenir le squelette".

Le fait de faire glisser le nœud du squelette et de faire pincer la taille par le modèle ne fonctionne pas aussi bien qu'il le devrait.

Je continue à faire glisser les os pour essayer d'obtenir l'effet d'écartement des mains, mais les os de ses mains ne sont pas ajustables par leur propre poussée et dépôt.

En utilisant le modèle de pose de squelette, vous pouvez voir ici que le "squelette de la main" dans le modèle est modifié et que la main correcte est générée.

Lors de l'utilisation d'un modèle de pose, vous pouvez sélectionner "Amélioration de l'effet" pour améliorer considérablement la qualité de l'image.

Amélioration avant l'effet : (10 choisis au hasard, j'ai délibérément choisi l'un des plus laids pour faciliter la comparaison)

L'effet est amélioré :