Модель смешанного мира 1.1 - Tencent Mixed World выпустила открытую 3D-реконструированную большую модель

Что такое гибридная модель мира 1.1

WorldMirror 1.1 (WorldMirror) - это модель 3D-реконструкции с открытым исходным кодом, выпущенная командой Tencent's WorldMirror, которая является обновленной версией серии WorldMirror. Она поддерживает многоракурсные изображения, видео и мультимодальные априорные данные, такие как положение камеры, внутренняя ссылка, карта глубины и т. д. Она преодолевает ограничение традиционной 3D-реконструкции, полагающейся только на одно изображение, и гибко адаптируется к различным комбинациям данных благодаря динамическому механизму априорного ввода. Впервые достигнута сквозная многозадачная унифицированная производительность, которая может одновременно генерировать несколько геометрических 3D-прогнозов, таких как облако точек, многоракурсная карта глубины, параметры камеры, нормали к поверхности, 3D-точки Гаусса и т. д. Задачи усиливаются сквозным совместным обучением для улучшения качества реконструкции и геометрической согласованности.

Функциональные особенности гибридной модели мира 1.1

• Поддержка мультимодального ввода: Поддерживает несколько методов ввода, таких как многоракурсное изображение и видео, и может гибко обрабатывать различные типы входных данных.
• Многозадачный унифицированный выходОн может одновременно выводить различные 3D-геометрические прогнозы, такие как облака точек, карты глубины, параметры камеры, нормали поверхности и 3D-точки Гаусса, чтобы удовлетворить самые разные потребности.
• Развертывание одной карты с помощью секундных рассужденийИспользуя чистую архитектуру feed-forward, она может быть развернута на одной видеокарте и занимает всего 1 секунду для обработки 8-32 входов представления, позволяя делать выводы второго уровня.
• Гибкая априорная адаптацияБлагодаря динамическому механизму введения априорных данных модель может гибко адаптироваться к любой комбинации априорных данных, а 3D-реконструкция может быть выполнена даже без априорных данных.
• Сильные способности к обобщению: С помощью стратегии курсового обучения способность модели к обобщению за пределами одного распределения изображений максимально повышается, что позволяет ей лучше справляться с различными исходными данными.
• Высокоточная 3D-реконструкция: Выдающаяся производительность при реконструкции облака 3D-точек и сквозной реконструкции 3DGS с исключительной геометрической точностью и воспроизведением деталей для поддержки создания высококачественного 3D-контента.

Основные преимущества гибридной модели мира 1.1

• Гибкая обработка мультимодальных входных данныхВ качестве примера можно привести следующий: поддержка мультимодального ввода априорной информации, такой как позиция камеры, внутренняя привязка, карта глубины и т.д., и адаптация к произвольным комбинациям априорных данных путем объединения глобальных и локальных геометрических ограничений с помощью иерархической стратегии кодирования для повышения качества и надежности реконструкции.
• Общее 3D визуальное прогнозирование: Впервые мы добились унифицированного многозадачного вывода облаков точек, карт глубины, параметров камеры, нормалей поверхности, точек 3D Gaussian и т.д., оптимизировали геометрическую точность и воспроизведение деталей путем сквозного совместного обучения, а также обеспечили высококачественную реконструкцию сетки и рендеринг новой точки обзора в реальном времени.
• Эффективное развертывание одной карты с посекундным выводомОна использует чистую прямолинейную архитектуру, которая может выдавать 3D-атрибуты с помощью одного прямого распространения и обрабатывать 8-32 входных данных всего за 1 секунду, что значительно лучше традиционного метода итеративной оптимизации, снижая порог аппаратного обеспечения и делая технологию 3D-реконструкции доступной для всех.
• Возможности межсценарного обобщения: Оптимизация обучения с помощью стратегий обучения (порядок задач, планирование данных, прогрессия разрешения) для улучшения адаптации к различным исходным данным, таким как реальные фотографии и видео, созданные ИИ, генерируя сцены, которые хорошо структурированы и богаты деталями.
• Открытый исходный код и простота использования: Полностью открытый исходный код, предоставляем локальные документы по развертыванию и Hugging Face онлайн Demo, поддерживаем загрузку многоракурсного изображения или видео в режиме реального времени для предварительного просмотра результатов 3D реконструкции, снижаем порог технических приложений.

Какой официальный сайт у Hybrid World Model 1.1?

• Веб-сайт проекта:: https://3d-models.hunyuan.tencent.com/world/
• Репозиторий Github:: https://github.com/Tencent-Hunyuan/HunyuanWorld-Mirror
• Библиотека моделей обнимающихся лиц:: https://huggingface.co/tencent/HunyuanWorld-Mirror
• Онлайн-демонстрация HuggingFace:: https://huggingface.co/spaces/tencent/HunyuanWorld-Mirror
• Технический отчет:: https://3d-models.hunyuan.tencent.com/world/worldMirror1_0/HYWorld_Mirror_Tech_Report.pdf

Люди для гибридной модели мира 1.1

• Создатели 3D-контента: Он может быстро генерировать высококачественные 3D-сцены для разработки игр, VR-опыта, кино и телевизионного производства и т.д., помогая создателям эффективно строить виртуальные миры.
• Преподаватели и студентыОн может быть использован для создания иммерсивной 3D-среды обучения для повышения эффективности учебных сценариев, таких как виртуальные лаборатории и воссоздание исторических сцен.
• Промышленные дизайнеры и инженеры: вспомогательное проектирование изделий, виртуальная сборка и физическое моделирование для ускорения процесса промышленного дизайна и повышения эффективности и качества проектирования.
• Специалисты по сохранению культурного наследия: Высокоточная 3D-реконструкция древних зданий и культурных реликвий для поддержки цифрового сохранения и исследования культурного наследия.
• Застройщики и архитекторы: Создание 3D-моделей и виртуальных туров по зданиям для презентаций архитектурного дизайна, виртуальных демонстрационных залов и т. д. с целью повышения удобства использования.
• Сотрудники отдела рекламы и маркетинга: Создание увлекательного рекламного 3D-контента, такого как демонстрация продуктов, виртуальные шоу-румы и т. д., для повышения интерактивности и привлекательности рекламы.