Yume1.5 - интерактивная модель генерации мира с открытым исходным кодом от Шанхайской лаборатории искусственного интеллекта и Фуданьского университета

Что такое Yume 1.5

Yume1.5 - это интерактивная модель генерации мира с открытым исходным кодом, разработанная совместно Шанхайской лабораторией искусственного интеллекта, Фуданьским университетом и Шанхайским инновационным исследовательским институтом, способная осуществлять интерактивный рендеринг в реальном времени (12 кадров в секунду на одной карте). В ней используется технология совместного пространственно-временного моделирования каналов (TSCM) для поддержания стабильной частоты дискретизации даже при увеличении длины контекста, а также интегрирована технология Self-Forcing для ускорения вывода и уменьшения накопления ошибок. Модель отлично справляется с задачами генерации и редактирования мира, а соответствующие статьи и открытый исходный код доступны на GitHub.

Особенности Yume 1.5

• Эффективная генерация в режиме реального времениYume-1.5 позволяет делать выводы со скоростью 12 кадров в секунду (разрешение 540p), сокращая время генерации эталона до 8 секунд, значительно повышая производительность в реальном времени и быстро генерируя реалистичные виртуальные миры.
• Функция управления текстом: Модель поддерживает генерацию динамических событий с помощью подсказок на естественном языке, а пользователь может управлять генерацией и изменением виртуального мира с помощью текстовых команд, что позволяет осуществлять семантическое управление генерируемым контентом.
• Опыт взаимодействия с клавиатурой: Поддерживает генеративное исследование мира с помощью клавиатуры, имитирует навигацию от первого лица и позволяет пользователям управлять движением персонажа и камеры с помощью клавиатуры, улучшая взаимодействие с пользователем.
• Технологические инновационные прорывы: Проблема быстрого роста контекста истории при генерации длинных видео решается с помощью метода совместного пространственно-временного моделирования каналов (TSCM), который эффективно сжимает контекст кадра истории в нескольких измерениях с помощью иерархической техники сжатия.
• Двусторонняя дистилляция внимания: В сочетании с усовершенствованной схемой встраивания текста она ускоряет процесс выборки, уменьшает накопление ошибок при генерации авторегрессии и значительно повышает эффективность вывода.
• Обучение на смешанных наборах данныхСемантическое управление генерируемым контентом достигается за счет гибридной стратегии обучения на основе наборов данных и архитектурной декомпозиции описаний событий и действий, что повышает качество и разнообразие генерируемых моделей.
• Широкий спектр примененияYume-1.5 имеет широкий спектр применения в области иммерсивного моделирования, виртуального воплощения и интерактивных развлечений и способен предоставить пользователям более реалистичные и богатые впечатления от виртуального мира.

Основные преимущества Yume 1.5

• Эффективная работа с выводамиYume-1.5 достигает скорости вывода 12 кадров в секунду (разрешение 540p), что сокращает время генерации эталона до 8 секунд, значительно повышая эффективность генерации в реальном времени.
• Интерактивность на основе текста: Пользователи могут управлять созданием и изменением виртуального мира с помощью команд на естественном языке, что позволяет генерировать динамические события и улучшает взаимодействие между пользователями и виртуальным миром.
• Опыт навигации от первого лица: Поддерживая взаимодействие с помощью клавиатуры, которое имитирует навигацию от первого лица, пользователи могут свободно управлять движением персонажа и камеры, обеспечивая захватывающий опыт исследования.
• Инновационные методы моделирования: Совместное пространственно-временное моделирование канала (TSCM) используется для эффективного решения проблемы быстрого роста исторического контекста при генерации длинных видео, а также для повышения качества и эффективности генерации.
• Механизм двустороннего внимания: Скорость умозаключений дополнительно повышается за счет ускорения процесса выборки и уменьшения накопления ошибок благодаря двунаправленной дистилляции внимания и улучшенным схемам встраивания текста.
• Стратегия обучения на смешанных наборах данных: Объединение нескольких наборов данных для обучения улучшает способность модели адаптироваться к различным сценам и событиям, а также повышает разнообразие и реалистичность создаваемого контента.

Что представляет собой официальный сайт Yume 1.5?

• Веб-сайт проекта:: https://stdstu12.github.io/YUME-Project/
• Репозиторий GitHub:: https://github.com/stdstu12/YUME
• Библиотека моделей HuggingFace:: https://huggingface.co/stdstu123/Yume-5B-720P
• Технический документ arXiv:: https://arxiv.org/pdf/2512.22096

Для кого предназначен Yume 1.5?

• разработчик игрYume-1.5 можно использовать для быстрого создания виртуальных игровых миров, сокращения времени и затрат на разработку и обеспечения игрокам более полного погружения в игровой процесс.
• Разработчики виртуальной реальности (VR) и дополненной реальности (AR): Модель может быть использована для создания реалистичных виртуальных сред, повышая реалистичность и интерактивность VR/AR-приложений.
• кинопродюсер: Он может использоваться для создания виртуальных сцен и спецэффектов, помогающих в производстве фильмов, телевизионных драм и других кино- и телепрограмм, что позволяет сэкономить средства и время на строительство реальных декораций.
• педагог: Виртуальные учебные среды могут быть созданы для образовательных сценариев, таких как исторические реконструкции и научные симуляции, чтобы повысить интерес студентов к обучению и пониманию.
• Архитектурные дизайнеры и проектировщики: Он может быстро генерировать виртуальные сценарии архитектурных моделей и городского планирования для презентации программ и общения с клиентами, повышая эффективность проектирования.
• Практики индустрии развлеченийДизайнеры таких заведений, как тематические парки и комнаты побега, могут использовать Yume-1.5 для создания уникальных виртуальных сценариев, обогащающих развлекательный процесс.