SAM 3D - серия моделей для 3D-реконструкции с открытым исходным кодом Meta

Что такое SAM 3D?

SAM 3D - это модель 3D-реконструкции, основанная на серии SAM, выпущенной компанией Meta, включающая две ветви: SAM 3D Objects и SAM 3D Body. SAM 3D Objects может генерировать интерактивные 3D-модели объектов по одной фотографии, поддерживая сложные сцены и обработку окклюзии; SAM 3D Body фокусируется на реконструкции человеческого тела, точно воспроизводя позы, формы и ключевые точки, и подходит для создания виртуальных людей и анимации. Модели используют единую архитектуру для интеграции таких задач, как 2D-сегментация и предсказание глубины, а обобщение реальных сцен значительно улучшено благодаря инновационному движку данных, а также открытому коду и платформе для опыта.

Особенности SAM 3D

• Мощные возможности 3D-реконструкцииSAM 3D состоит из двух моделей - SAM 3D Objects и SAM 3D Body. SAM 3D Objects восстанавливает детальные 3D-формы, текстуры и расположение объектов на основе одной фотографии и отлично работает даже в таких сложных ситуациях, как мелкие объекты, боковые виды и окклюзии. В тестах на человеческое предпочтение он выигрывает как минимум 5 к 1.
• Точная оценка осанки и фигуры человекаSAM 3D Body нацелен на точную оценку 3D-позы и формы человеческого тела по одному изображению, сохраняя высокое качество работы даже в сложных ситуациях, таких как сценарии с несколькими людьми, аномальные позы или окклюзии. Поддерживаются интерактивные входы, такие как маски сегментации и 2D ключевые точки, что позволяет пользователю направлять и контролировать прогнозы модели.
• Эффективный механизм аннотирования данных: Для обучения SAM 3D компания Meta создала мощный механизм аннотирования данных, который сочетает аннотирование искусственного интеллекта и аннотирование человека, что значительно повышает эффективность аннотирования. Это позволяет обучать модели на основе масштабных высококачественных данных, превосходя предыдущие модели в многочисленных эталонных 3D-тестах.
• Открытые веса моделей и код выводаКомпания : Meta открыла доступ к коду взвешивания и вывода модели для SAM 3D для удобства использования и дальнейших исследований разработчиками и исследователями.
• Простая в использовании платформа для работы с опытом: Meta запустила платформу Segment Anything Playground, которая позволяет обычным пользователям загружать изображения без технической подготовки и знакомиться с возможностями 3D-реконструкции и сегментации в SAM 3D.

Основные преимущества SAM 3D

• Надежность, обусловленная высоким качеством данных: Для обучения SAM 3D компания Meta создала высококачественную обучающую базу данных, содержащую около 8 миллионов изображений, что позволило ей справляться с окклюзиями, редкими позами и разнообразной одеждой. Использование масштабных высококачественных данных позволило SAM 3D превзойти предыдущие модели в нескольких эталонных 3D-тестах.
• Инновационный механизм аннотирования данных: Meta создает масштабируемый движок данных, который объединяет аннотирование искусственного интеллекта и аннотирование человека, что значительно повышает эффективность аннотирования. Это позволяет обучать модели на больших объемах разнообразных данных, обеспечивая высокую производительность в сложных визуальных задачах.
• Открытые веса моделей и код выводаКомпания : Meta открыла доступ к коду взвешивания и вывода модели для SAM 3D для удобства использования и дальнейших исследований разработчиками и исследователями.

Что такое официальный сайт SAM 3D

• Веб-сайт проекта:: https://ai.meta.com/sam3d/
• Репозиторий GitHub::
  • SAM 3D Body: https://github.com/facebookresearch/sam-3d-body
  • 3D-объекты SAM:: https://github.com/facebookresearch/sam-3d-objects
• Технический отчет:: https://ai.meta.com/research/publications/sam-3d-body-robust-full-body-human-mesh-recovery/

Для кого предназначен SAM 3D

• 3D-модельер и аниматор: Он позволяет быстро создавать высококачественные 3D-модели из 2D-изображений, что экономит время и средства на моделирование и повышает эффективность работы.
• разработчик игр: Используется для создания реалистичных игровых сцен и персонажей в 3D для усиления визуального эффекта и погружения в игру.
• Разработчики виртуальной реальности (VR) и дополненной реальности (AR): Быстрое создание 3D-контента для повышения реалистичности и интерактивности виртуальных сред.
• Практики электронной коммерции и рекламной индустрии: Создание 3D-моделей товаров для более интуитивного отображения продукции, что повышает удобство использования и желание купить.
• Научные работники и академические исследователи: Для исследований в области компьютерного зрения, 3D-реконструкции, оценки позы человека и других областях, чтобы способствовать развитию соответствующих технологий.
• Общие пользователи и энтузиасты: С помощью платформы Segment Anything Playground можно осуществлять 3D-реконструкцию и сегментацию, не требуя специальных навыков, для удовлетворения индивидуальных творческих и развлекательных потребностей.