PartCrafter - NU United Bytes с открытым исходным кодом для создания 3D-модели одной фигуры

Что такое PartCrafter?

PartCrafter - это передовая генеративная 3D-модель, совместно предложенная Пекинским университетом, ByteDance и Университетом Карнеги-Меллон. Она может одновременно генерировать несколько семантически явных и геометрически разнообразных 3D-сетчатых деталей из одного RGB-изображения. Модель достигает независимой эволюции и глобальной согласованности на уровне компонентов благодаря комбинаторному потенциальному пространству и иерархическому механизму внимания. Основываясь на предварительно обученном диффузионном трансформаторе 3D-сетки (DiT), PartCrafter превосходит по качеству и эффективности генерации, поддерживая сквозную генерацию от отдельных объектов до сложных сцен.

Особенности PartCrafter

• Создание отдельных диаграмм из нескольких частей3D-сетка - это уникальный метод, который генерирует несколько семантически явных и геометрически разнообразных частей 3D-сетки из одного RGB-изображения, преодолевая ограничения традиционных методов.
• Объединенное потенциальное пространство: Каждая 3D-деталь представлена набором разделенных латентных токенов, и детали могут изменяться независимо в процессе генерации, сохраняя детали на уровне деталей и обеспечивая общую согласованность.
• Иерархические механизмы внимания: Поддержка структурированного потока информации внутри отдельных компонентов и между всеми компонентами для обеспечения глобальной согласованности в процессе генерации и повышения качества генерации.
• Наследование предварительно обученной моделиПредварительно обученный 3D-трансформатор диффузии на основе сетки (DiT), который наследует предварительно обученные веса, кодер и декодер, еще больше улучшает возможности и эффективность генерации модели.
• Сплошная генерация с учетом компонентовPartCrafter может одновременно обесцвечивать несколько 3D-деталей при наличии одного изображения, обеспечивая сквозную генерацию с учетом деталей, начиная с отдельных объектов и заканчивая сложными многообъектными сценами.
• Нет необходимости в предварительной сегментации изображений: В отличие от традиционных методов, PartCrafter не полагается на предварительно сегментированные изображения и может генерировать несколько деталей непосредственно из одного изображения, упрощая процесс создания.
• Высококачественная генерация результатов: Созданные 3D-модели имеют хорошую геометрическую структуру и визуальные эффекты, поддерживают моделирование геометрических деталей сверхвысокой четкости и подходят для широкого спектра приложений.
• Широкий спектр сценариев применения: Широкий спектр применения в разработке игр, архитектуре и дизайне интерьеров, производстве фильмов и видео, образовании, дополненной реальности/виртуальной реальности, позволяющий быстро создавать высококачественные 3D-активы.
• Открытый источник и находчивостьПроект имеет открытый исходный код, предоставляет официальный сайт, репозиторий GitHub и технические статьи arXiv и другие ресурсы, поддерживает предварительную подготовку весов для загрузки и повторного использования структуры, удобен для разработчиков и исследователей для использования и исследования.

Основные преимущества PartCrafter

• Создание отдельных диаграмм из нескольких частей: Из одного RGB-изображения можно сгенерировать несколько 3D-деталей с четкой семантикой и различной геометрией без дополнительного ввода данных.
• Не требуется предварительная сегментация: Он не полагается на предварительно сегментированные изображения и генерирует виджеты непосредственно из необработанных изображений, упрощая процесс генерации и снижая порог использования.
• Высококачественные геометрические детали: Создание 3D-моделей с точной геометрией и хорошими визуальными эффектами, поддержка UHD-моделирования.
• Компонентно-независимая эволюция: Объединяя потенциальные пространства, каждый компонент может развиваться независимо, сохраняя детали и обеспечивая общую согласованность.
• Иерархические информационные потоки: Обеспечение эффективного потока информации между компонентами и внутри них с использованием механизмов иерархического внимания для повышения качества генерации.
• Предварительно обученные модели помогают: Предварительно обученный 3D-трансформатор диффузии сетки (DiT), основанный на наследовании передовых весов и архитектур для повышения эффективности и результативности генерации.
• Возможность сквозной генерацииКомпания способна обеспечить сквозную генерацию от одного изображения до сложной 3D-сцены, поддерживая различные сценарии применения.

Что такое официальный сайт PartCrafter

• Веб-сайт проекта:: https://wgsxm.github.io/projects/partcrafter/
• Репозиторий Github:: https://github.com/wgsxm/PartCrafter
• Технический документ arXiv:: https://arxiv.org/pdf/2506.05573

Для кого предназначен PartCrafter

• 3D-художники и дизайнеры: Он может быстро генерировать высококачественные 3D-модели и повышать эффективность создания, что подходит для разработки игр, производства фильмов и телевизионных программ, архитектурной визуализации и других областей.
• разработчик игр: Используется для быстрого создания 3D-активов, таких как персонажи, реквизит и сцены в играх, что ускоряет процесс разработки игр и снижает производственные затраты.
• Архитекторы и дизайнеры интерьеров: Помогает быстро создавать архитектурные модели и схемы оформления интерьеров для презентации схем и общения с клиентами, повышая эффективность проектирования.
• Преподаватели и студенты: Используется для демонстрации сложных научных концепций, таких как молекулярная структура, анатомия человека и т.д., для повышения эффективности преподавания и улучшения качества обучения.
• Разработчики AR/VR: Создание фотореалистичных 3D-моделей для приложений дополненной и виртуальной реальности с целью улучшения пользовательского опыта.
• Исследователи и разработчики: Открытый исходный код и предварительно обученные модели предоставляют исследователям средства для исследований и разработок, которые могут быть использованы для академических исследований и технологических инноваций.