MirageLSD - Decart AI запускает первую модель генерации видео с помощью искусственного интеллекта в режиме реального времени

Что такое MirageLSD

MirageLSD - первая в мире модель потокового диффузионного ИИ-видео в реальном времени, созданная командой Decart AI, которая способна генерировать видео в реальном времени с неограниченной продолжительностью, задержкой до 40 мс и плавным выводом со скоростью 24 кадра в секунду. Благодаря технологии Diffusion Forcing и обучению улучшению истории, она решает проблему накопления ошибок традиционной авторегрессионной модели при генерации длительного времени и позволяет генерировать видео неограниченной продолжительности. Основан на оптимизированных по Хопперу мегаядрах, архитектуре с учетом обрезки и Shortcut. Дистилляция MirageLSD был разработан для значительного увеличения скорости генерации при сохранении высокого качества изображения, что позволяет взаимодействовать в реальном времени.

Ключевые особенности MirageLSD

• Создание видео в режиме реального времени неограниченной продолжительностиMirageLSD генерирует видеопотоки неограниченной длительности с задержкой всего 40 миллисекунд и поддерживает скорость генерации в реальном времени 24 кадра/с, что решает проблему накопления ошибок в традиционных моделях генерации видео в течение длительных периодов времени.
• интерактивность в реальном времениПользователи могут получать подсказки, преобразовывать и редактировать видео в режиме реального времени в процессе его создания, что обеспечивает непрерывный интерактивный опыт.
• Обработка с низкой задержкой: Модель достигает сверхнизкой задержки обработки данных (40 миллисекунд) для поддержки создания видео в реальном времени благодаря таким методам оптимизации, как оптимизированные по Хопперу мега-ядра и обрезка с учетом архитектуры.

Адрес проекта MirageLSD

• Технические документы:: https://about.decart.ai/publications/mirage

Технические принципы MirageLSD

• Технология диффузионного форсированияГенерация на уровне кадра достигается за счет покадровой денуации, что позволяет модели генерировать однокадровые изображения без полного видеоконтекста.
• Тренинг по улучшению истории: Ввод зашумленных данных из исторических кадров во время обучения позволяет модели предсказывать и исправлять ошибки во входных данных, что приводит к бесконечной генерации.
• стратегия оптимизации::
  • Оптимизированные для бункера мега-ядра: Оптимизирован для архитектуры NVIDIA Hopper GPU, чтобы уменьшить задержку модели на каждом уровне.
  • Обрезка с учетом архитектуры: Сокращение вычислений за счет изменения размеров параметров модели в соответствии с архитектурой GPU.
  • Короткая дистилляция: Сократите шаг диффузии, необходимый для генерации, обучая меньшие модели, чтобы они соответствовали траекториям денуации больших моделей.

Как использовать

• Использование платформы MirageLSD: Посетите официальный сайт Mirage, предоставленный Decart AI: https://mirage.decart.ai/. Подключите подготовленный видеопоток к платформе Mirage.
• Подготовка входного видеопотока
  • Видеочат или прямая трансляция: В качестве источника входного сигнала используйте выход веб-камеры или программное обеспечение для прямой трансляции.
  • игровой экран: Прямая трансляция с видеовыхода игры.
  • экран компьютера: Захват содержимого экрана в качестве входного сигнала.
• Преобразование и редактирование в режиме реального времени: На платформе Mirage пользователи могут изменять содержание видеопотока в режиме реального времени, вводя текстовые подсказки или выбирая предустановленные стили. Платформа поддерживает взаимодействие в режиме реального времени, позволяя пользователям корректировать подсказки или стили по мере необходимости для динамических переходов между видео.
• Выходы и применение: Преобразованные видеопотоки можно использовать непосредственно для прямых трансляций, игр, видеозвонков и других сценариев.

Преимущества модели MirageLSD

• Низкая задержка с бесконечной генерациейMirageLSD обеспечивает сверхнизкую задержку обработки - менее 40 миллисекунд - и генерирует видеопотоки неограниченной длины в режиме реального времени со скоростью 24 кадра в секунду. Это позволяет устранить узкие места в традиционных моделях генерации видео, которые обычно генерируют 5-10-секундные клипы с задержкой в 10+ секунд. Общая эффективность модели повышается более чем в 100 раз благодаря инновационной оптимизации CUDA Megakernel и методам обучения против дрейфа.
• Мощная интерактивность в режиме реального времениMirageLSD поддерживает динамический отклик в реальном времени, позволяя пользователям динамически корректировать контент в процессе создания видео, гарантируя, что результат всегда будет соответствовать творческому замыслу. Высокая степень гибкости и контроля позволяет MirageLSD демонстрировать большой потенциал в производстве креативного контента. Пользователи могут изменять внешний вид, сцену или одежду в видео в режиме реального времени с помощью простых взаимодействий, таких как управление жестами.

Сценарии применения MirageLSD

Сценарии применения MirageLSD включают: прямые трансляции и видеозвонки, которые преобразуют обычные видеозвонки или прямые трансляции в заданные пользователем сценарии в реальном времени, например, меняя реалистичную сцену на научно-фантастический мир. Разработка игр, которая в режиме реального времени преобразует игровые экраны в различные визуальные стили, например, меняет обычную сцену боя на дуэль на световых мечах. Производство анимации и виртуальное переодевание, обеспечивающее поддержку визуальных эффектов в реальном времени для производства анимации и виртуального переодевания.