Plataforma de creación de vídeo "Searchlight" del Instituto Dharma Reseña completa

Recibido hoy mismo"buscar la luz" Una notificación de que la solicitud de prueba interna ha sido aprobada, y una breve reseña publicada antes de acostarse.

La plataforma se posiciona como la "plataforma de aplicación de capacidades tecnológicas de visión" del Instituto Dharma, y actualmente hay menos aplicaciones (en comparación con el lanzamiento), y se espera que se abran gradualmente más aplicaciones de visión.

La búsqueda de luz se divide en dos direcciones:

https://xunguang.damo-vision.com/ (IA buscadora de luz)

https://damo-vision.com/ (parece una plataforma para probar características menos maduras, ponlo al final de la explicación, aquí lo llamamos "Seek Light AI small feature test")

IA buscadora de luz

Todas las características de la lista, una pantalla simplemente no puede poner, parece que quiere aplicar todo tipo de última tecnología para cubrir todo tipo deeditor visualEscena. Parece que Seeking Light va a ser la RunwayML .

Control Bucal

Comprobamos el efecto de la sincronización bucal utilizando personas reales, imágenes de anime, fotografías y vídeos, cuatro tipos de materiales respectivamente.

Nota: Se requiere el número total de píxeles (longitud*anchura) de la resolución del clip de vídeo/imagen de prueba actual (256*256 ~ 2048*2048).

Generalmente utilizando imágenes de anime, se generan pequeños bucles de vídeo para obtener mejores resultados, empieza por aquí:

Efecto de la prueba: (comprimido unas 3 veces)

Utiliza la imagen para generarla de nuevo:

Problemas con la iluminación de los rostros de los personajes de anime, iluminación facial poco natural tras la sincronización de la boca.

Genérelo de nuevo utilizando imágenes de acción en vivo (sin probar el vídeo de acción en vivo, el resultado global será un poco mejor que una imagen de un solo personaje):

Control de expresión

Controle con precisión las expresiones faciales de las personas en una imagen o vídeo para generar un vídeo que coincida con la plantilla de expresión.

Efectos de la prueba:

control de espejo

Efectos de la prueba:

El movimiento es un poco demasiado grande y se puede ver que los últimos fotogramas de la imagen capturada están mal renderizados:

Eliminación de objetivos

Eliminación de clips en vídeo, que ofrece selección, encuadre y borrado inteligentes. Aquí se intenta eliminar objetivos estáticos, pero los objetivos estáticos tienen fondos algo más complejos.

Puedes intentar eliminar por ti mismo elementos que se mueven de forma espectacular, como coches que circulan a gran velocidad, peatones que caminan y objetos inmóviles en los espejos.

efecto de prueba

cambio de estilo

Sin poner un vídeo, los resultados son ligeramente peores, con una pantalla parpadeante, así que aquí hay una intercepción de una imagen ligeramente mejor.

Prueba de minifunción de la IA de búsqueda de luz

Después de iniciar sesión e ir a la página de inicio, sólo se ve la vestimenta virtual y la edición de la postura, la función sigue siendo relativamente básica.

La función de generación 3D que aparece en la página de inicio requiere una aplicación aparte.

Revisión de Virtual Dress Up

En primer lugar, echemos un vistazo rápido y positivo a una joven que lleva menos. Aquí se pueden ver las manos correctamente desplegadas sobre el traje. Sin embargo, esa gran parte puede haber sido limitada por el modelo y, en general, se ha reducido su tamaño y no se ha tratado a la forma del cuerpo del personaje original, y el color de la piel ha cambiado.

Anteriormente probado prenda larga única, a continuación, en tiempo real corto superior más inferior efecto:

Sé que algunas de vosotras os estáis preguntando si los bajos largos plus meterán la falda larga dentro del pantalón. Os ruego que no lo hagáis...

Editor de postura

Esta vez utilizaremos un modelo profesional para ajustar la postura. Tras subir la foto del modelo, el primer paso es "obtener el esqueleto".

Arrastrar el nodo del esqueleto y que el modelo pellizque la cintura no funciona tan bien como debería.

Sigo arrastrando y soltando los huesos para intentar conseguir el efecto de las manos extendidas, pero los huesos de las manos no son ajustables por sí mismos empujando y soltando.

Usando la plantilla de pose de esqueleto, puedes ver aquí que el "esqueleto de mano" en la plantilla se cambia y se genera la mano correcta.

Cuando utilice una plantilla de pose, puede seleccionar "Mejora de efectos" para mejorar significativamente la calidad de la imagen.

Antes de la actualización del efecto: (10 seleccionados al azar, elegí deliberadamente uno de los más feos para facilitar la comparación)

El efecto se mejora: