Wan2.2-Animate - Un modelo generativo para la generación de acciones del código abierto Tongyi Wanxiang

Wan2.2- ¿Qué es Animate?

Wan2.2-Animate es un modelo de generación de acción de código abierto de Tongyi Wanxiang , que soporta dos modos de imitación de acción y juego de rol. Los usuarios sólo tienen que introducir una imagen del personaje y un vídeo de referencia, el modelo puede migrar la acción y la expresión del personaje del vídeo al personaje de la imagen, dándole una expresión dinámica. El modelo puede sustituir el personaje del vídeo por el personaje de la imagen conservando el movimiento, la expresión y el entorno del vídeo original. El modelo admite personajes de conducción, imágenes de animación y fotos de animales, por lo que puede aplicarse a la creación de vídeos cortos, la generación de plantillas de baile, la producción de animación y otros campos. Se construye un conjunto de datos de vídeo de personajes a gran escala que abarca el habla, la expresión facial y el movimiento corporal, y el postentrenamiento basado en el modelo de vídeo Tongyi Wanxiang Tuyong logra la compatibilidad de un único modelo con dos modos de inferencia al mismo tiempo. Se utilizan señales esqueléticas y características implícitas para los movimientos corporales y las expresiones faciales respectivamente, junto con el módulo de redirección de acciones, para lograr una réplica precisa de los movimientos y las expresiones.

Características funcionales de Wan2.2-Animate

• Movimiento y expresión MigraciónSi introduces imágenes de personajes y vídeos de referencia, podrás trasladar los movimientos y expresiones de los personajes de vídeo a los personajes de las imágenes, dotando a éstos de una expresividad dinámica.
• Sustitución de caracteres: Sustituye los personajes del vídeo por los de la imagen conservando los movimientos, las expresiones y el entorno del vídeo original.
• Compatibilidad con varios tipos de funciones: Puede manejar personajes, imágenes de anime y fotos de animales para una amplia gama de aplicaciones.
• Construcción de conjuntos de datos a gran escalaUn conjunto de datos de vídeo de personajes a gran escala que abarca el habla, las expresiones faciales y los movimientos corporales para mejorar el rendimiento del modelo.
• Formato de presentación armonizado: Estandarizar la información de rol, la información de entorno y las acciones en un formato de representación unificado y conseguir un modelo único compatible con ambos modos de inferencia.
• reproducción exactaPara los movimientos corporales y las expresiones faciales, se utilizan señales esqueléticas y características implícitas, respectivamente, junto con un módulo de reorientación del movimiento, para lograr una réplica precisa de los movimientos y las expresiones.
• Efecto de fusión de la luzEn el modo de sustitución, se ha diseñado un LoRA de fusión de luz independiente para garantizar una fusión de luz perfecta.

Principales ventajas de Wan2.2-Animate

• Migración eficiente del movimientoEl movimiento y la expresión del vídeo de referencia pueden migrarse con precisión a la imagen del personaje de destino con un efecto de migración natural y suave, lo que confiere al personaje estático una expresión viva y dinámica.
• Integración medioambiental con la naturalezaCuando se sustituyen los personajes, los movimientos, las expresiones y la información ambiental del vídeo original pueden conservarse perfectamente, para conseguir la integración natural de los personajes y el fondo, y evitar la sensación antinatural de incompatibilidad.
• Adaptación del tipo de función múltiple: Admite una amplia gama de tipos de caracteres, como personajes, figuras de anime y animales, con amplia aplicabilidad para satisfacer las necesidades creativas de distintos campos.
• Soporte de conjuntos de datos a gran escalaEl entrenamiento se basa en un conjunto de datos de vídeo de personajes a gran escala que abarca el habla, las expresiones faciales y los movimientos corporales, con datos ricos y variados, lo que confiere al modelo una mayor capacidad de aprendizaje y generalización.
• modelo único con varios modosEl objetivo de este proyecto es: estandarizar la información sobre el personaje, el entorno y las acciones en un formato de representación unificado, crear un modelo único compatible con los modos de razonamiento de imitación de acciones y de juego de rol, y reducir el coste de utilización del modelo.
• Tecnología de reproducción de precisiónEl uso de señales esqueléticas y características implícitas para los movimientos corporales y las expresiones faciales, respectivamente, junto con el módulo de reorientación del movimiento, puede reproducir con precisión los movimientos y las expresiones, mejorando la calidad y el realismo de los vídeos generados.
• Optimización de la fusión de la luzLoRA: En el modo de reemplazo se ha diseñado un LoRA de fusión de luz independiente, que garantiza eficazmente la consistencia de la luz y el efecto de fusión, haciendo que el vídeo generado sea más natural y coordinado visualmente.

¿Cuál es la web oficial de Wan2.2-Animate?

• Página web del proyecto:: https://humanaigc.github.io/wan-animate/
• Repositorio Github:: https://github.com/Wan-Video/Wan2.2
• Biblioteca de modelos HuggingFace:: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

Wan2.2-Poblaciones aplicables de animales

• creador de contenidosPermite generar rápidamente vídeos creativos, como animaciones, anuncios, vídeos cortos, etc., para aumentar la eficacia creativa y la diversidad de contenidos.
• AnimadoresEfectos dinámicos : Los personajes estáticos pueden dotarse de efectos dinámicos, lo que simplifica el proceso de producción de la animación, reduce los costes de producción y mejora la calidad de la animación.
• Amantes y creadores de la danzaLa capacidad de generar plantillas de baile personalizadas para ayudar a crear contenidos de vídeo de baile únicos.
• aficionado al animeLa creación animada de tus personajes de anime favoritos satisface tus necesidades individuales y aumenta la diversión de la creación.
• educadorEl sistema de vídeo interactivo: puede utilizarse para crear vídeos didácticos, como la demostración de procesos de movimiento complejos, para aumentar la eficacia y el interés de la enseñanza.
• Personal de publicidad y marketingCapacidad para generar rápidamente vídeos publicitarios atractivos que potencien la creatividad y el atractivo del anuncio.