SceneGen - открытая платформа для генерации 3D-сцены из одного изображения, созданная Шанхайским университетом Цзяо Тун.

Что такое SceneGen?

SceneGen - это метод генерации 3D-сцен из одного изображения, разработанный в Шанхайском университете Цзяо Тун. Из одного изображения сцены и маски целевого ресурса эффективно генерируется полная сцена, содержащая множество 3D-ресурсов, включая геометрическую структуру ресурсов, текстуру и относительное пространственное расположение.Принимая на вход одно изображение сцены и соответствующую маску целевого ресурса, множество 3D-ресурсов генерируется одновременно в едином процессе передачи данных, каждый из которых имеет полную геометрическую структуру, детальную текстуру и точное относительное пространственное положение, что позволяет напрямую преобразовать 2D-изображение в 3D-сцену.

Особенности SceneGen

• Когенерация с одним входом картыВозможность одновременно генерировать геометрию, текстуру и относительное пространственное положение нескольких 3D-объектов в сцене на основе одного 2D-изображения сцены и соответствующей целевой маски с помощью единого процесса прямого распространения значительно упрощает сложный процесс традиционного создания 3D-контента.
• Агрегация локальной и глобальной информации: На этапе извлечения признаков уникальный модуль может эффективно объединять локальную информацию о деталях и глобальную информацию о контексте сцены, гарантируя, что созданные 3D-объекты будут не только локально тонкими, но и сохранят высокую степень рациональности и согласованности с общим планом сцены.
• Эффективная сквозная генерация: В отличие от традиционных подходов, основанных на трудоемкой оптимизации или многоэтапном поиске и сборке активов, подход сквозной генерации позволяет избежать громоздких промежуточных этапов и значительно повысить эффективность создания 3D-сцен от концепции до удобства использования.
• Точное предсказание пространственных отношений: Благодаря интеграции позиционной головы модель точно предсказывает и организует пространственное расположение различных 3D-объектов в сцене, обеспечивая рациональность пространственных отношений между объектами, что очень важно для создания правдоподобной виртуальной среды.

Основные преимущества SceneGen

• Создание качестваСгенерированные 3D-сцены являются структурно полными и тонко текстурированными, с точными пространственными отношениями, и имеют значительно более высокую геометрическую точность и визуальное качество, чем существующие методы (например, PartCrafter, MIDI и т.д.) как на синтетических, так и на реальных наборах данных.
• Повышение эффективности: Генерация мультиресурсов может быть выполнена за один прием без итеративной оптимизации, а на генерацию текстурированной сцены с 4 активами уходит около 2 минут, учитывая качество и скорость.
• способность к обобщениюХотя обучение проводилось только на одном изображении, качество генерации может быть улучшено при использовании нескольких изображений для лучшей адаптации к сложным сценам.

Что такое официальный сайт SceneGen

• Веб-сайт проекта:: https://mengmouxu.github.io/SceneGen/
• Репозиторий Github:: https://github.com/mengmouxu/scenegen
• Библиотека моделей HuggingFace:: https://huggingface.co/haoningwu/scenegen
• Технический документ arXiv:: https://arxiv.org/pdf/2508.15769

Для кого предназначен SceneGen

• Разработчики игр и инди-продюсерыДля независимых разработчиков игр или малых и средних студий с ограниченными ресурсами SceneGen позволяет значительно сократить время и финансовые затраты на создание 3D-сцен. Разработчикам достаточно предоставить концептуальные рисунки или референсные фотографии, чтобы быстро сгенерировать 3D-сцены, которые можно напрямую использовать в игровом движке, что значительно повышает эффективность разработки.
• Создатели контента виртуальной реальности (VR) и дополненной реальности (AR)Возможности сквозного генерирования SceneGen идеально подходят для быстрого создания прототипов и производства 3D-сцен с эффектом погружения для VR/AR-приложений, требующих эффективного создания большого количества реалистичных и интерактивных виртуальных сред.
• Специалисты по визуализации объектов недвижимости и зданий: Агенты по недвижимости, архитекторы и дизайнеры интерьеров могут использовать SceneGen для быстрого преобразования поэтажных планов или фотографий интерьеров своих клиентов в интерактивные 3D-витрины, помогающие клиентам более интуитивно понять пространственную планировку и эффекты дизайна.
• Команда предварительного производства фильмов и анимацииНа этапах предварительного концептуального проектирования и раскадровки фильмов, телевидения и анимации команды могут использовать SceneGen для ускорения предпроизводственного процесса, быстро преобразуя 2D-раскадровки или ссылки на сцены в базовые 3D-макеты, которые можно использовать для предварительного просмотра кадров, тестирования композиции и освещения.
• Исследователи воплощенного искусственного интеллекта: Ключ к обучению роботов, автономных систем вождения и других интеллектуальных систем в симулированных средах. Исследователям необходимо большое количество разнообразных 3D-сцен для создания обучающей среды, а эффективные возможности SceneGen позволяют быстро создавать необходимые виртуальные обучающие миры.