Полный обзор платформы для создания видео "Прожектор" Института Дхармы

Получено сегодня".поиск света"Уведомление о том, что приложение для внутреннего тестирования было одобрено, и краткий обзор, опубликованный перед сном.

Платформа позиционируется как "платформа для применения возможностей технологии видения" Института Дхармы, и в настоящее время приложений меньше (по сравнению с запуском), но ожидается, что постепенно будет открыто больше приложений для видения.

Поиск света разделен на два адреса:

https://xunguang.damo-vision.com/ (ИИ, ищущий свет)

https://damo-vision.com/ (выглядит как платформа для тестирования менее зрелых функций, поместите ее в конец объяснения, здесь мы называем ее "Seek Light AI small feature test")

ИИ, ищущий свет

Все функции перечислены, экран просто не может поставить, выглядит так, как будто он хочет применить все виды новейших технологий, чтобы покрыть все видывизуальный редакторСцена. Похоже, что Seeking Light станет в стране RunwayML .

Контроль рта

Мы исследовали эффект синхронизации рта на примере реальных людей, аниме, фотографий и видео - четырех типов материалов соответственно.

Примечание: Необходимо общее количество пикселей (длина*ширина) разрешения текущего тестового видео/клипа изображения (256*256 ~ 2048*2048).

Обычно используются аниме-изображения, для достижения наилучших результатов создаются небольшие циклы видео, начните с этого:

Эффект испытания: (сжимается около 3 раз)

Используйте изображение, чтобы сгенерировать его снова:

Проблемы с освещением лиц аниме-персонажей, неестественное освещение лица после синхронизации рта.

Сгенерируйте его снова, используя живые изображения (не пробуя видео в реальном времени, общий результат будет немного лучше, чем изображение одного персонажа):

Контроль экспрессии

Точное управление выражениями лиц людей на изображении или видео для создания видео, соответствующего шаблону выражения.

Испытательные эффекты:

управление зеркалами

Испытательные эффекты:

Движение немного большое, и видно, что последние несколько кадров захваченного изображения плохо прорисованы:

Ликвидация цели

Устранение клипов в видео, предлагающее интеллектуальное выделение, кадрирование и стирание. Здесь предпринята попытка устранить статичные цели, но статичные цели имеют несколько более сложный фон.

Вы можете попытаться самостоятельно устранить резко движущиеся элементы, такие как едущие на скорости автомобили, идущие пешеходы и неподвижные объекты в зеркалах.

тестовый эффект

изменение стиля

Если не выкладывать видео, результаты получаются немного хуже, с мерцающим экраном, поэтому вот перехват немного лучшего изображения.

Мини-испытание ИИ, ищущего свет

После входа в систему и перехода на главную страницу вы видите только виртуальное одевание и редактирование осанки, функции все еще относительно базовые.

Функция 3D-генерации, отображаемая на главной странице, требует отдельного приложения.

Обзор виртуальных нарядов

Для начала давайте посмотрим на молодую леди, которая носит меньше. Здесь вы можете увидеть руки, правильно отображенные на костюме. Однако эта большая часть может быть ограничена моделью и в целом уменьшена и не соответствует форме тела оригинального персонажа, а цвет кожи изменился.

Ранее тестировалась одна длинная одежда, затем в режиме реального времени короткая верхняя часть плюс нижний эффект:

Я знаю, что некоторые из вас задаются вопросом, можно ли заправить длинную юбку в брюки? Я призываю вас не делать этого...

Редактор осанки

На этот раз мы будем использовать профессиональную модель для корректировки осанки. После загрузки фотографии модели первым шагом будет "получение скелета".

Перетаскивание узла скелета и зажатие модели в талии работает не так хорошо, как должно.

Продолжайте перетаскивать кости, чтобы добиться эффекта раздвинутых рук, но кости рук не поддаются регулировке при самостоятельном надавливании и перетаскивании.

Используя шаблон скелетной позы, вы можете увидеть, что "скелет руки" в шаблоне изменяется и генерируется правильная рука.

При использовании шаблона позы можно выбрать "Улучшение эффекта", чтобы значительно улучшить качество изображения.

Обновление до эффекта: (10 случайно выбранных, специально выбрал одну из самых уродливых, чтобы было легче сравнивать)

Эффект обновляется: