Le modèle de génération vidéo VBench en tête des classements... En tête des classements - WanX 2.1 sera bientôt en open source !

Open source à l'horizon : la création de vidéos par IA pour le grand public

Une nouvelle passionnante ! AliCloud a officiellement annoncé que son très attendu modèle de génération vidéo par IA de nouvelle génération, WanX 2.1, sera bientôt en open source ! 🎉 Ce modèle, qui a été salué comme " redéfinissant la génération vidéo ", a attiré beaucoup d'attention dans l'industrie depuis sa sortie. Aujourd'hui, AliCloud a décidé d'ouvrir le code source de WanX 2.1, ce qui insufflera sans aucun doute un nouvel élan puissant dans le domaine de la création vidéo par IA.

WanX 2.1 est le dernier né des macromodèles multimodaux "Wanx" d'AliCloud. Alors que "Tongyi Wanxiang" a fait ses débuts en juillet 2023, WanX 2.1 représente la dernière avancée technologique de la série de modèles. Il génère non seulement des images et des vidéos de haute qualité à partir de commandes textuelles, mais il est également le premier modèle au monde à prendre en charge les effets textuels en chinois et en anglais.

Performances supérieures : leader du classement VBench

WanX 2.1 est incroyablement performant pour générer des vidéos photoréalistes. Qu'il s'agisse de traiter des scènes de mouvement complexes, d'optimiser la qualité des pixels ou d'appréhender avec précision les règles de la physique, WanX 2.1 fait preuve de performances exceptionnelles. En particulier, sa précision dans la compréhension et l'exécution des commandes de l'utilisateur lui permet de se démarquer dans la prestigieuse liste des modèles de génération vidéo VBench, avec un score total de 84,7%, en tête dans des mesures clés telles que la dynamique, les relations spatiales et les interactions multi-objets.

À l'heure où nous écrivons ces lignes, la première place est occupée par MiracleVision V5.

Qu'est-ce qui rend WanX 2.1 si exceptionnel ? Il est indissociable de l'innovation continue et des percées technologiques réalisées par l'équipe de recherche d'AliCloud.

Innovation technologique : créer un monde vidéo plus réaliste

Dans sa quête d'une qualité de génération visuelle optimale, l'équipe R&D de WanX 2.1 a exploré et innové dans un certain nombre de domaines technologiques clés :

• Cadres VAE et DiT auto-développésWanX 2.1 adopte le VAE (Variable Auto-Encoder) et le DiT (Denoising Diffusion) propres à Aliyun. Transformateur), qui améliore considérablement la capacité du modèle à comprendre la synchronisation vidéo et les relations spatiales. Cela permet à WanX 2.1 de générer un contenu vidéo plus réaliste et plus naturel lorsqu'il s'agit de scènes contenant des règles de mouvement et de physique complexes.
• Mécanismes d'attention omni-temporelleWanX 2.1 : Avec l'introduction du mécanisme d'attention permanente, WanX 2.1 est capable de capturer et de simuler plus précisément les dynamiques complexes et changeantes du monde réel, ce qui rend les vidéos générées plus vivantes et vibrantes.
• Formation contextuelle extra-longueWanX 2.1 adopte également une méthode d'apprentissage en contexte ultra-long, qui accélère le processus d'apprentissage du modèle et établit une connexion transparente entre les commandes textuelles et la création de contenu vidéo, ce qui rend la création vidéo plus rapide et plus intuitive.
• Premiers effets de texte bilingues en anglais et en chinoisWanX 2.1 est le premier modèle de génération vidéo de l'industrie à prendre en charge les effets de texte bilingues, ce qui élargit considérablement ses scénarios d'application et répond mieux aux divers besoins créatifs des industries de la conception publicitaire et de la production de vidéos courtes.

Texte d'alerte : "Plan panoramique d'une patineuse artistique sur une patinoire. Elle porte un costume de patinage violet et des patins blancs et exécute une manœuvre de rotation. Ses bras sont écartés et son corps est incliné vers l'arrière, montrant son habileté et sa grâce".

Grâce à ces innovations, WanX 2.1 est capable de gérer facilement les mouvements corporels importants et les scènes de rotation complexes. Même dans des scénarios difficiles tels que le patinage artistique, la natation et le plongeon, qui exigent des niveaux élevés de trajectoire et de coordination du corps, WanX 2.1 est toujours capable d'exceller, établissant une nouvelle référence de qualité pour la génération de vidéos.

Partage de sources ouvertes : favoriser une écologie créative plus large

Actuellement, WanX 2.1 est disponible sur le site officiel de la Chine. une image complète de tout Une expérience gratuite est disponible. Les développeurs individuels et les utilisateurs professionnels peuvent être les premiers à découvrir la puissance de WanX 2.1 sur la plateforme Aliyun Model Studio pour libérer leur créativité et générer efficacement du contenu vidéo de haute qualité.

L'ouverture prochaine de la source signifie que WanX 2.1 ne sera plus limité à une plateforme spécifique, mais sera intégré dans l'écosystème plus large de la technologie de l'IA. L'initiative d'Aliyun favorisera sans aucun doute la popularité et le développement de la technologie de génération de vidéos d'IA, de sorte que davantage de développeurs et de créatifs pourront se tenir sur les épaules des géants et explorer ensemble les possibilités infinies de la création de vidéos d'IA, et réaliser véritablement la fusion profonde de la technologie d'IA et de l'industrie de la création. Attendons avec impatience le jour où WanX 2.1 sera mis en open-source et assistons à l'arrivée d'une nouvelle ère de création de vidéos d'IA !