Vidi2 - мультимодальное понимание видео и генеративное макромоделирование с открытым исходным кодом от ByteHop

Что такое Vidi2?

Vidi2 - это мультимодальная модель второго поколения для понимания и генерации видео, открытая компанией ByteDance и ориентированная на понимание, анализ и создание видеоконтента. Она поддерживает совместный ввод текстовых, видео- и аудиомодальностей и может одновременно понимать содержание изображения, звуковую информацию и команды на естественном языке для достижения кросс-модального взаимодействия и рассуждений. Точное определение временного диапазона и пространственного расположения определенных событий или целевых объектов на видео, и модель может автоматически аннотировать соответствующий временной период и целевую область на экране с погрешностью до миллисекунд. Модель может обрабатывать многочасовые необработанные видеоматериалы и быстро извлекать ролики, соответствующие определенной семантике.

Особенности Vidi2

• Возможность мультимодальной обработкиОн поддерживает совместный ввод текстовых, видео- и аудиоданных и способен одновременно понимать содержимое экрана, звуковую информацию и команды на естественном языке, что позволяет осуществлять межмодальное взаимодействие и рассуждать.
• Точное пространственно-временное позиционирование (STG)Модель может точно определить временной диапазон и пространственное положение конкретного события или целевого объекта на видео, например, по текстовому описанию "кто-то совершил определенное действие на X-й минуте", модель может автоматически отметить соответствующий временной период и целевую область на экране, причем погрешность может быть точной до миллисекундного уровня.
• Восприятие и поиск длинных видеозаписей: Может обрабатывать многочасовые видеоматериалы, быстро извлекать сегменты, соответствующие определенной семантике, и сохранять высокую точность даже при сложном видеоконтенте и частой смене сцен. В сценариях со сверхдлинным видео (>1 часа) производительность опережает основные коммерческие модели.
• Видеовикторина и рассуждения: Поддерживает открытые вопросы и ответы на основе видеоконтента, которые могут отвечать на вопросы о сюжете, взаимоотношениях персонажей, причинах и следствиях событий, а также генерировать обоснованные ответы путем многократных рассуждений, чтобы помочь пользователям быстро получить доступ к ключевой информации в видео.
• Интеллектуальное редактирование и творческая помощьОн может автоматически извлекать выделенные фрагменты и генерировать короткие названия видео, а также выполнять интеллектуальную обрезку композиции и автоматическое переключение между камерами в соответствии с потребностями пользователей, что значительно снижает порог создания видео и повышает эффективность создания.

Основные преимущества Vidi2

• Возможность точного пространственного и временного позиционированияVidi2 может распознавать временную метку и ограничительную рамку целевого объекта на видео, а при задании текстового запроса - не только находить соответствующий временной интервал, но и точно определять положение конкретных объектов в этих временных диапазонах, отслеживать заданные объекты и персонажи с посекундной детализацией, а также решать такие задачи, как отслеживание конкретного персонажа в толпе или разделение реквизита в прерывистых кадрах.
• Мощное понимание и создание видеоVidi2 может обрабатывать часы необработанного видео, понимать сюжетную линию и создавать полноценные короткие видеоролики или клипы TikTok на основе простых подсказок.
• Передовая технологическая архитектура: Использование Gemma-3 в качестве опорной сети в сочетании с переработанным адаптивным сжатием разметки обеспечивает эффективность обработки длинных видеороликов без потери важных деталей. Кроме того, кросс-модальный поток обработки объединяется за счет совместной обработки текста, визуальных и аудиоданных для понимания и создания видео.
• Отличная производительность: В бенчмарке VUE-TR-V2 для поиска по открытому времени Vidi2 достигает общего показателя IoU 48,75, и, в частности, превосходит коммерческую модель на 17,5 процентных пункта на сверхдлинных видео (более 1 часа). В задаче локализации (VUE-STG) Vidi2 достигает наилучших показателей - 32,57 для vIoU и 53,19 для tIoU.
• Эффективные стратегии обучения данным: В процессе обучения Vidi2 используются реальные, разнообразные видеоданные в сочетании с синтетическими данными локализации и тщательно подобранными аннотациями для согласования пространственных и временных рассуждений в больших масштабах. Кроме того, для повышения производительности модели используется стратегия Temporal-aware Multimodal Alignment (TAMA) с помощью механизма поэтапного двунаправленного обучения с подкреплением.

Что такое официальный сайт Vidi2

• Веб-сайт проекта:: https://bytedance.github.io/vidi-website/
• Репозиторий Github:: https://github.com/bytedance/vidi
• Технический документ arXiv:: https://arxiv.org/pdf/2511.19529

Люди, для которых предназначен Vidi2

• Создатели видеоVidi2 помогает создателям видео быстро генерировать видеосценарии, контуры и названия, а также автоматически редактировать длинные видео в короткие, подходящие для публикации на платформе, что значительно повышает эффективность творческой деятельности.
• Команда редакторов контента: Для монтажных групп, которым приходится работать с большим количеством видеоматериалов, Vidi2 может автоматически определять и извлекать из видео ключевые фрагменты для создания ярких моментов, экономя время на ручном просмотре и редактировании.
• Операторы социальных сетейVidi2 может быстро преобразовывать длинный видеоконтент в короткие ролики, подходящие для социальных медиаплатформ, помогая операторам более эффективно публиковать контент и улучшать его распространение.
• кинопродюсерНа этапе постпроизводства Vidi2 может помочь в осмыслении сюжета, редактировании и создании субтитров для повышения эффективности производства.
• Команда по рекламе и маркетингуVidi2 позволяет быстро генерировать увлекательный видеоконтент, помогая рекламным командам создавать более привлекательные рекламные ролики и повышать эффективность рекламы.
• педагог: Преподаватели могут использовать Vidi2 для оптимизации обработки учебных видеоматериалов, чтобы создавать короткие видеоклипы, подходящие для обучения, и повышать эффективность использования учебных ресурсов.