Mixed World Model 1.5 - Tencent Mixed Open Source Real-time World Model Generation Framework

Что такое гибридная модель мира 1.5

Hybrid WorldPlay 1.5 (Tencent HY WorldPlay) - это первый в отрасли фреймворк для моделирования мира в реальном времени с открытым исходным кодом, выпущенный компанией Tencent и охватывающий всю цепочку данных, обучения и развертывания потокового вывода. В основе лежит авторегрессионная диффузионная модель WorldPlay, которая обучается с помощью задачи Next-Frames-Prediction, решая проблему согласованности в реальном времени и геометрии. Генерация взаимодействия в реальном времени, благодаря оригинальной схеме дистилляции Context Forcing и оптимизации потокового вывода, может генерировать видео 720P HD со скоростью 24 кадра в секунду; 3D-консистенция с большим радиусом действия, с помощью механизма реконструированной памяти, поддерживает генерацию геометрической консистенции контента минутного уровня; разнообразный опыт взаимодействия, применимый к различным стилям сценариев и перспективам от первого и третьего лица.

Функциональные особенности гибридной модели мира 1.5

• Возможность генерации взаимодействия в режиме реального времениБлагодаря оригинальной схеме "дистилляции с учетом контекста" и оптимизации потоковых рассуждений модель может генерировать видеопотоки 720p HD в реальном времени с частотой 24 кадра в секунду, обеспечивая плавное взаимодействие и позволяя пользователям манипулировать точкой обзора и окружением в реальном времени.
• Согласованность 3D на большом расстоянииМодель поддерживает генерацию видеоконтента вплоть до мельчайших деталей с высокой степенью геометрической согласованности благодаря механизму реконструктивной памяти (RMM), закладывая основу для создания высококачественного пространственного 3D-симулятора.
• Разнообразные интерактивные впечатления: Пользователи могут быстро создать эксклюзивный интерактивный 3D-мир, просто введя текстовое описание или картинку. С помощью клавиатуры, мыши или джойстика пользователи могут свободно управлять движением точки обзора и рулевым управлением, как если бы они управляли игровым персонажем, и исследовать сгенерированную искусственным интеллектом среду в захватывающей манере.
• Полнофункциональный фреймворк с открытым исходным кодом: Первая система обучения модели мира в реальном времени с открытым исходным кодом, охватывающая всю цепочку и связь между данными, обучением и развертыванием выводов, предоставляя разработчикам полный процесс разработки и развертывания.
• Высококачественный сбор данных: Автоматизированный процесс рендеринга 3D-сцен, созданный командой Mixed Meta, позволяет получить доступ к большому количеству высококачественных данных о реальном мире, что еще больше увеличивает потенциал основных алгоритмов.

Основные преимущества гибридной модели мира 1.5

• Реальное время и быстрота: Способность генерировать видеопотоки 720p HD в реальном времени со скоростью 24 кадра в секунду обеспечивает плавное и мгновенное взаимодействие с пользователем.
• долгосрочная последовательность: Поддерживает создание 3D-контента вплоть до мельчайших деталей и сохраняет высокую степень геометрической согласованности при длительном создании сложных сцен.
• Разнообразие взаимодействий: Поддерживает несколько способов ввода (текст, изображения) и режимов взаимодействия (от первого лица, от третьего лица) для обеспечения захватывающего 3D-исследования.
• Открытый исходный код и полная поддержка ссылок: Впервые с открытым исходным кодом создана полная система обучения и развертывания, охватывающая данные, обучение, выводы и т.д., чтобы обеспечить разработчикам мощную техническую поддержку.
• Высококачественные данные, основанные на данных: Получение высококачественных данных путем автоматизации процесса рендеринга 3D-сцены для дальнейшего повышения качества генерации и обобщения моделей.
• Инновационные системы обучения: Улучшение визуального качества и геометрической согласованности генерируемого контента с помощью методов дистилляции с учетом контекста и системы обучения с подкреплением в 3D.

Что такое официальный сайт Hybrid World Model 1.5?

• Веб-сайт проекта:: https://3d-models.hunyuan.tencent.com/world/
• Репозиторий GitHub:: https://github.com/Tencent-Hunyuan/HY-WorldPlay
• Библиотека моделей HuggingFace:: https://huggingface.co/tencent/HY-WorldPlay
• Технические документы:: https://3d-models.hunyuan.tencent.com/world/world1_5/HYWorld_1.5_Tech_Report.pdf

Люди для гибридного мира Модель 1.5

• разработчик игр: Он может быть использован для быстрой генерации игровых сцен и контента, снижения стоимости разработки и повышения эффективности разработки, особенно подходит для разработки 3D-игр, требующих взаимодействия в реальном времени и длительной генерации.
• Команда VFXОн может генерировать высококачественные 3D-сцены и анимацию в режиме реального времени, обеспечивая более эффективный инструмент для создания контента при производстве спецэффектов в кино и на телевидении и ускоряя процесс создания.
• Разработчики виртуальной реальности (VR) и дополненной реальности (AR): Поддержка иммерсивных интерактивных 3D-воздействий для разработки VR/AR-приложений, создание более реалистичных и плавных виртуальных сред для пользователей.
• Исследователи искусственного интеллектаОткрытые исходные коды, система связей и высококачественные наборы данных предоставляют исследователям богатый исследовательский ресурс, который способствует исследованиям и инновациям в смежных областях.
• создатель контентаНапример, видеоблогеры, аниматоры и т.д. могут быстро генерировать креативный контент с помощью простого ввода текста или изображения, что повышает разнообразие и эффективность создания контента.
• Преподаватели и студенты: С его помощью можно создавать иммерсивные сценарии преподавания и обучения, которые повышают увлекательность и интерактивность обучения и предоставляют студентам платформу для практики и исследований.