El modelo de generación de vídeo VBench encabeza las listas... WanX 2.1 pronto será de código abierto.

Código abierto en el horizonte: creación de vídeos con IA para las masas

¡Noticias emocionantes! AliCloud ha anunciado oficialmente que su esperado modelo de generación de vídeo de IA de próxima generación, WanX 2.1, pronto será de código abierto. 🎉 Este modelo, que ha sido aclamado como "redefinir la generación de vídeo", ha atraído mucha atención en la industria desde su lanzamiento. Ahora, AliCloud ha decidido abrir el código de WanX 2.1, lo que sin duda inyectará un nuevo y potente impulso en el campo de la creación de vídeo con IA.

WanX 2.1 es la última incorporación a los macromodelos multimodales "Wanx" de Aliyun. Mientras que "Tongyi Wanxiang" debutó en julio de 2023, WanX 2.1 representa el último avance tecnológico de la serie de modelos. No sólo genera imágenes y vídeos de alta calidad a partir de comandos de texto, sino que también es el primer modelo del mundo que admite efectos de texto en chino e inglés.

Rendimiento superior: líder de las listas VBench

WanX 2.1 es asombrosamente bueno generando vídeos fotorrealistas. Ya se trate de escenas de movimiento complejas, de optimizar la calidad de los píxeles o de comprender con precisión las reglas de la física, WanX 2.1 demuestra un rendimiento sobresaliente. En concreto, su precisión a la hora de comprender y ejecutar las órdenes del usuario le hace destacar en la prestigiosa lista de modelos de generación de vídeo VBench, con una puntuación total de 84,7%, liderando métricas clave como la dinámica, las relaciones espaciales y las interacciones multiobjeto.

En el momento de escribir este artículo, el primer puesto lo ocupa MiracleVision V5.

¿Qué hace que WanX 2.1 sea tan excepcional? No se puede separar de la innovación continua y los avances tecnológicos del equipo de investigación de AliCloud.

Innovación tecnológica: crear un mundo de vídeo más realista

En su búsqueda de lo último en calidad de generación visual, el equipo de I+D de WanX 2.1 ha explorado e innovado en una serie de áreas tecnológicas clave:

• Marcos VAE y DiT de desarrollo propioWanX 2.1 adopta VAE (Variable Auto-Encoder) y DiT (Denoising Diffusion) propios de Aliyun. Transformador), que mejora significativamente la capacidad del modelo para comprender la temporización del vídeo y las relaciones espaciales. Esto permite a WanX 2.1 generar contenidos de vídeo más realistas y naturales cuando se trabaja con escenas que contienen reglas físicas y de movimiento complejas.
• Mecanismos de atención omnicanalWanX 2.1: gracias a la introducción del mecanismo de atención omnidireccional, WanX 2.1 es capaz de capturar y simular con mayor precisión la dinámica compleja y cambiante del mundo real, lo que hace que los vídeos generados sean más vivos y vibrantes.
• Entrenamiento en contexto extralargoWanX 2.1: Con el fin de mejorar la capacidad del modelo para comprender y ejecutar comandos de texto, WanX 2.1 también adopta un método de entrenamiento en contexto ultralargo, que acelera el proceso de entrenamiento del modelo y consigue una conexión perfecta entre los comandos de texto y la creación de contenidos de vídeo, haciendo que la creación de vídeos sea más rápida e intuitiva.
• Primeros efectos de texto bilingües en inglés y chinoWanX 2.1 es el primer modelo de generación de vídeo del sector que admite efectos de texto bilingües, lo que amplía enormemente sus escenarios de aplicación y satisface mejor las diversas necesidades creativas de los sectores del diseño publicitario y la producción de vídeos cortos.

Sugerencia textual: "Toma panorámica de una patinadora artística en una pista de hielo. Lleva un traje de patinaje morado y patines blancos y está realizando una maniobra giratoria. Tiene los brazos abiertos y el cuerpo inclinado hacia atrás, mostrando su destreza y gracia".

Gracias a estas innovaciones, WanX 2.1 es capaz de manejar con facilidad grandes movimientos corporales y escenas rotacionales complejas. Incluso en escenarios difíciles como el patinaje artístico, la natación y el buceo, que requieren altos niveles de trayectoria y coordinación corporal, WanX 2.1 sigue siendo capaz de sobresalir, estableciendo un nuevo punto de referencia de calidad para la generación de vídeo.

Compartir el código abierto: una ecología creativa más amplia

Actualmente, WanX 2.1 está disponible en el sitio web oficial de China. una imagen completa de todo La experiencia es gratuita. Los desarrolladores individuales y los usuarios empresariales pueden ser los primeros en experimentar la potencia de WanX 2.1 a través de la plataforma Aliyun Model Studio, dando rienda suelta a la creatividad y generando contenidos de vídeo de alta calidad de forma eficiente.

El próximo código abierto significa que WanX 2.1 ya no se limitará a una plataforma específica, sino que se integrará en el ecosistema más amplio de la tecnología de IA. Sin duda, este movimiento de Aliyun fomentará enormemente la popularidad y el desarrollo de la tecnología de generación de vídeo con IA, de modo que más desarrolladores y creativos puedan subirse a hombros de gigantes y explorar conjuntamente las infinitas posibilidades de la creación de vídeo con IA, y hacer realidad la profunda fusión de la tecnología de IA y la industria creativa. Esperemos con impaciencia el día en que WanX 2.1 sea de código abierto y seamos testigos de la llegada de una nueva era en la creación de vídeos con IA.