Модель генерации видео VBench возглавляет чарты... Вершина чартов - WanX 2.1 скоро станет открытым исходным кодом!

Открытый исходный код на горизонте: создание видео с искусственным интеллектом для широких масс

Захватывающие новости! Компания AliCloud официально объявила о том, что ее долгожданная модель генерации видео с помощью искусственного интеллекта нового поколения, WanX 2.1, скоро станет открытой! 🎉 Эта модель, которую назвали "переосмыслением генерации видео", привлекла большое внимание в индустрии с момента ее выпуска. Теперь AliCloud решила открыть исходный код WanX 2.1, что, несомненно, придаст новый мощный импульс сфере создания видео с помощью искусственного интеллекта.

WanX 2.1 - это последнее дополнение к мультимодальным макромоделям "Wanx" от AliCloud. В то время как "Tongyi Wanxiang" дебютировал в июле 2023 года, WanX 2.1 представляет собой последнее технологическое достижение в этой серии моделей. Она не только генерирует высококачественные изображения и видео на основе текстовых команд, но и является первой в мире моделью, поддерживающей текстовые эффекты на китайском и английском языках.

Превосходная производительность: лидер чартов VBench

WanX 2.1 потрясающе справляется с созданием фотореалистичного видео. Будь то работа со сложными сценами движения, оптимизация качества пикселей или точное понимание правил физики, WanX 2.1 демонстрирует выдающуюся производительность. В частности, благодаря точности понимания и выполнения пользовательских команд он выделяется в престижном списке моделей для генерации видео VBench с общим результатом 84,7%, лидируя в таких ключевых показателях, как динамика, пространственные отношения и взаимодействие между несколькими объектами.

На момент написания этой статьи первое место занял MiracleVision V5.

Что делает WanX 2.1 таким выдающимся? Это невозможно отделить от постоянных инноваций и технологических прорывов, совершаемых исследовательской группой AliCloud.

Технологические инновации: создание более реалистичного видеомира

Стремясь к наивысшему качеству визуальной генерации, команда разработчиков WanX 2.1 исследовала и внедрила инновации в ряде ключевых технологических областей:

• Самостоятельно разработанные рамки VAE и DiTВ WanX 2.1 используются собственные технологии Aliyun VAE (Variable Auto-Encoder) и DiT (Denoising Diffusion). Трансформатор), что значительно повышает способность модели понимать временные и пространственные соотношения видео. Это позволяет WanX 2.1 генерировать более реалистичный и естественный видеоконтент при работе со сценами, содержащими сложные правила движения и физики.
• Механизмы всевременного внимания: Благодаря внедрению механизма Omni-temporal Attention, WanX 2.1 способен более точно улавливать и моделировать сложную и меняющуюся динамику реального мира, делая создаваемые видео более яркими и живыми.
• Сверхдлинное контекстное обучение: Чтобы повысить способность модели понимать и выполнять текстовые команды, в WanX 2.1 также используется метод обучения со сверхдлинным контекстом, который ускоряет процесс обучения модели и обеспечивает бесшовную связь между текстовыми командами и созданием видеоконтента, делая создание видео более быстрым и интуитивным.
• Первые двуязычные текстовые эффекты на английском и китайском языкахWanX 2.1 - первая в отрасли модель генерации видео, поддерживающая двуязычные текстовые эффекты, что значительно расширяет сценарии ее применения и позволяет лучше удовлетворять разнообразные творческие потребности индустрии рекламного дизайна и производства короткого видео.

Текстовая подсказка: "Панорамный снимок фигуристки, выступающей на катке. Она одета в фиолетовый костюм и белые коньки и выполняет маневр с вращением. Ее руки широко расставлены, а тело отклонено назад, демонстрируя мастерство и грацию".

Благодаря этим инновациям WanX 2.1 с легкостью справляется с крупными движениями тела и сложными вращательными сценами. Даже в таких сложных сценариях, как фигурное катание, плавание и прыжки в воду, требующих высокого уровня траектории и координации тела, WanX 2.1 справляется с задачей, устанавливая новый стандарт качества для создания видео.

Совместное использование открытых источников: создание более широкой творческой экологии

В настоящее время WanX 2.1 доступен на официальном сайте Китая. полное представление обо всем Доступен бесплатный опыт. Индивидуальные разработчики и корпоративные пользователи могут первыми испытать возможности WanX 2.1 через платформу Aliyun Model Studio, раскрывая творческий потенциал и эффективно создавая высококачественный видеоконтент.

Открытый исходный код означает, что WanX 2.1 больше не будет ограничен конкретной платформой, а будет интегрирован в более широкую экосистему технологий ИИ. Этот шаг Aliyun, несомненно, будет способствовать росту популярности и развитию технологии создания видео с помощью ИИ, чтобы больше разработчиков и творческих людей могли встать на плечи гигантов и совместно исследовать безграничные возможности создания видео с помощью ИИ, а также по-настоящему реализовать глубокое слияние технологии ИИ и творческой индустрии. Давайте с нетерпением ждать того дня, когда WanX 2.1 получит открытый исходный код, и станем свидетелями наступления новой эры создания видео с помощью искусственного интеллекта!