Wan2.2-Animate - генеративная модель для генерации действий из тунъи Ваньсяна с открытым исходным кодом

Wan2.2 - Что такое Animate?

Wan2.2-Animate - это модель генерации действий с открытым исходным кодом от Tongyi Wanxiang, которая поддерживает два режима: имитацию действий и ролевую игру. Пользователям нужно только ввести изображение персонажа и эталонное видео, модель может перенести действия и выражения персонажа в видео на изображение персонажа, придавая изображению динамическое выражение. Модель может заменить персонажа на видео персонажем на картинке, сохраняя при этом движение, выражение и окружение оригинального видео. Модель поддерживает движущиеся персонажи, анимационные изображения и фотографии животных, что может быть применено для создания коротких видеороликов, создания шаблонов танцев, производства анимации и в других областях. Создан крупномасштабный набор данных видеороликов с персонажами, включающий речь, выражение лица и движение тела, а посттренинг на основе видеомодели Tongyi Wanxiang Tuyong позволяет добиться совместимости одной модели с двумя режимами вывода одновременно. Скелетные сигналы и неявные признаки используются для движений тела и выражения лица соответственно, вместе с модулем перенаправления действий, чтобы достичь точного воспроизведения движений и выражений.

Функциональные особенности Wan2.2-Animate

• Движение и самовыражение МиграцияВводя изображения персонажей и эталонные видеоролики, вы можете перенести движения и выражения видеоперсонажей на изображения персонажей, придавая персонажам динамическую выразительность.
• Замена персонажа: Замените персонажей в видео на персонажей на картинке, сохранив движения, выражения и обстановку исходного видео.
• Поддержка нескольких типов ролей: Можно создавать персонажей, изображения аниме и фотографии животных для самых разных целей.
• Создание крупномасштабных наборов данных: Крупномасштабный набор видеоданных по персонажам, включающий речь, мимику и движения тела, для улучшения работы модели.
• Согласованный формат презентации: Стандартизировать информацию о роли, окружении и действиях в едином формате представления и создать единую модель, совместимую с обоими режимами рассуждений.
• точное воспроизведение: Для движений тела и выражения лица используются скелетные сигналы и неявные признаки, соответственно, вместе с модулем ретаргетинга движений для достижения точного воспроизведения движений и выражений.
• Эффект слияния света: В режиме замены для обеспечения идеального слияния света разработана отдельная система LoRA.

Основные преимущества Wan2.2-Animate

• Эффективная миграция движенияДвижение и выражение в опорном видео могут быть точно перенесены на изображение целевого персонажа с естественным и плавным эффектом миграции, придавая статичному персонажу яркое и динамичное выражение.
• Экологическая интеграция с природойПри замене персонажей движения, выражения и информация об окружении исходного видео могут быть полностью сохранены, чтобы реализовать естественную интеграцию персонажей и фона и избежать неестественного ощущения несовместимости.
• Адаптация многоролевого типа: Поддерживает широкий спектр типов символов, таких как персонажи, аниме-образы и животные, с широкой применимостью для удовлетворения творческих потребностей различных областей.
• Поддержка больших массивов данных: Обучение основано на крупномасштабном наборе видеоданных о персонажах, включающем речь, мимику и движения тела, с богатыми и разнообразными данными, что обеспечивает модели более высокую способность к обучению и обобщению.
• одна модель с несколькими режимами: Стандартизировать информацию о персонаже, окружении и действиях в едином формате представления, реализовать единую модель, совместимую как с имитацией действий, так и с ролевыми играми, и снизить стоимость использования модели.
• Технология точного воспроизведения: Использование скелетных сигналов и неявных признаков для движений тела и выражений лица, соответственно, вместе с модулем ретаргетинга движений позволяет точно воспроизводить движения и выражения, повышая качество и реалистичность создаваемых видеороликов.
• Оптимизация слияния света: В режиме замены разработана независимая система слияния света LoRA, которая эффективно обеспечивает согласованность света и эффекта слияния, делая создаваемое видео более естественным и согласованным визуально.

Какой официальный сайт Wan2.2-Animate?

• Веб-сайт проекта:: https://humanaigc.github.io/wan-animate/
• Репозиторий Github:: https://github.com/Wan-Video/Wan2.2
• Библиотека моделей HuggingFace:: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

Wan2.2 - Применимые популяции животных

• создатель контента: С его помощью можно быстро создавать креативные видеоролики, такие как анимация, реклама, короткие видеоролики и т. д., что позволяет повысить эффективность творческой деятельности и разнообразить контент.
• Аниматоры: Статические персонажи могут быть наделены динамическими эффектами, что упрощает процесс создания анимации, снижает производственные затраты и повышает качество анимации.
• Любители и создатели танцев: Возможность генерировать индивидуальные танцевальные шаблоны для создания уникального танцевального видеоконтента.
• любитель анимеАнимированное создание ваших любимых аниме-персонажей отвечает вашим индивидуальным потребностям и усиливает удовольствие от творчества.
• педагог: С его помощью можно создавать обучающие видеоролики, например, демонстрирующие сложные процессы движения, для повышения эффективности и заинтересованности преподавателей.
• Сотрудники отдела рекламы и маркетинга: Способность быстро создавать увлекательные рекламные видеоролики, которые повышают креативность и привлекательность рекламы.