Wan-Move - открытый фреймворк для создания видео с помощью искусственного интеллекта, разработанный Али Тонги совместно с Цинхуа и другими.

Что такое Wan-Move?

Wan-Move - это фреймворк для создания видео с открытым исходным кодом, разработанный совместно Ali Tongyi Labs, Университетом Цинхуа и другими учреждениями, ориентированный на синтез высококачественного видео с помощью технологии точного управления движением. Основной технологией является "потенциальное управление траекторией", которая может легко добавить управление движением на уровне точек к существующей модели "изображение-видео", поддерживая генерацию 5-секундного видео 480P, с точностью управления движением, превышающей точность основного решения с открытым исходным кодом 22.5%. Фреймворк не требует изменения архитектуры базовой модели и достигает управления движением путем копирования особенностей первого кадра в последующие кадры, что применимо к одноцелевым, многоцелевым и сложным сценариям (например, многопользовательское взаимодействие, взаимодействие объектов). Она подходит для одноцелевых, многоцелевых и сложных сценариев (например, взаимодействие нескольких человек, взаимодействие объектов) и достигла наивысшей производительности FID 12.2 и EPE 2.6 в бенчмарках MoveBench. Пользователи могут работать с ней через плагин ComfyUI или облачную платформу, а сама модель была открыта на GitHub.

Функциональные особенности Wan-Move

• Управление движением по одной цели: Возможно точное управление движением отдельных объектов на видео.
• Многоцелевое управление движением: Поддерживает независимое управление движением нескольких объектов в видео.
• Сравнение с академическими и коммерческими подходамиКачественное сравнение с существующими академическими методами и коммерческими решениями доступно на сайте.
• управление камерой: Можно управлять движением камеры в видео.
• передача локомоции: Можно переносить движение из одного видео в другое.
• 3D-вращение: Поддержка создания видео с эффектом 3D-вращения.

Основные преимущества компании Wan-Move

• Высококачественное управление движениемНовейшее дополнение к линейке видеосистем - видеосистема 480p, которая производит высококачественное 5-секундное видео 480p с контролем движения, сопоставимым с коммерческими системами, и отвечает требованиям профессионального видеопроизводства.
• Дополнительные модули не требуютсяНет необходимости вносить архитектурные изменения в существующие модели преобразования изображения в видео или добавлять дополнительные кодировщики движения, что снижает барьер для использования и затраты на разработку.
• Тонкий контроль на уровне точек: Поддерживает точное управление движением каждого элемента сцены, позволяя настраивать движение на уровне региона для удовлетворения разнообразных потребностей сложных сцен.
• Крупномасштабное обучение и оптимизация: Убедитесь в точности визуального восприятия и движения сгенерированного видео путем обучения на больших данных для улучшения общей производительности.
• Поддержка бенчмаркинга: Предоставляет бенчмарк MoveBench с крупными выборками и высококачественными аннотациями траекторий, что позволяет легко оценить и сравнить эффективность различных методов.
• Открытый исходный код и простота использованияКод, веса моделей и бенчмаркинг имеют открытый исходный код, что позволяет пользователям быстро приступить к работе и выполнить вторичную разработку с хорошей масштабируемостью и поддержкой сообщества.

Каков официальный сайт Wan-Move?

• Веб-сайт проекта:: https://wan-move.github.io/
• Репозиторий Github:: https://github.com/ali-vilab/Wan-Move
• Библиотека моделей HuggingFace:: https://huggingface.co/Ruihang/Wan-Move-14B-480P
• Технический документ arXiv:: https://arxiv.org/pdf/2512.08765

Для кого предназначен Wan-Move

• Создатели видеоWan-Move: Профессионалы, которым необходимо создать анимированное, со спецэффектами или креативное видео, могут быстро генерировать видеоконтент со специфическими эффектами движения.
• Сотрудники отдела рекламы и маркетинга: Используется для создания увлекательных рекламных видеороликов для продвижения бренда, подходит для маркетинговых команд, которым необходимо эффективно генерировать высококачественные видеоматериалы.
• видеоредактор: В постпроизводстве видео используется для быстрой настройки и оптимизации видеоконтента, например, дублирование движения, управление движением камеры и т.д., для повышения эффективности работы.
• педагог: Используется для создания учебных видеороликов, которые помогают студентам лучше понять и усвоить материал с помощью динамичных презентаций, подходит для создателей контента в сфере образования.
• разработчик игр: Используется для создания анимационных эффектов в игре, таких как движения персонажей, смена сцен и т. д., чтобы улучшить визуальный эффект и впечатления пользователя от игры.
• Технические исследователи: Исследователи, интересующиеся технологией генерации видео и управления движением, могут проводить исследования и разработки с открытым исходным кодом и бенчмарками.