SceneGen - 3D 씬 프레임워크를 생성하는 상하이 자오통 대학교 오픈 소스 단일 이미지

SceneGen이란 무엇인가요?

SceneGen은 상하이교통대학교에서 단일 이미지에서 3D 씬을 생성하는 오픈 소스 방식으로, 단일 씬 이미지와 타깃 리소스 마스크로부터 리소스의 기하학적 구조, 텍스처 및 상대적 공간 위치를 포함한 여러 3D 리소스가 포함된 완전한 씬을 효율적으로 생성합니다.단일 씬 이미지와 해당 타깃 리소스 마스크를 입력으로 삼아 단일 피드포워드 프로세스에서 여러 3D 리소스가 동시에 생성되며, 각각 완전한 기하학적 구조, 세부 텍스처, 정확한 상대 공간 위치를 갖추고 있어 2D 이미지에서 3D 씬으로 직접 변환할 수 있습니다.

SceneGen의 특징

• 단일 지도 입력 공동 생성단일 2D 씬 이미지와 해당 타깃 마스크를 기반으로 씬 내 여러 3D 에셋의 지오메트리, 텍스처, 상대적 공간 위치를 단일 포워드 전파 프로세스를 통해 동시에 생성하는 기능은 기존 3D 콘텐츠 제작의 복잡한 과정을 크게 간소화합니다.
• 로컬 및 글로벌 정보 통합특징 추출 단계에서 고유 모듈은 씬의 로컬 디테일 정보와 글로벌 컨텍스트 정보를 효과적으로 통합하여 생성된 3D 에셋이 로컬로 미세할 뿐만 아니라 전체 씬 레이아웃과 높은 수준의 합리성과 일관성을 유지할 수 있도록 합니다.
• 효율적인 엔드투엔드 생성시간이 많이 걸리는 최적화나 다단계 에셋 검색 및 조립에 의존하는 기존 방식과 달리 엔드투엔드 생성 방식은 번거로운 중간 단계를 피하고 컨셉부터 사용성까지 3D 씬 생성의 효율성을 크게 향상시킵니다.
• 공간 관계의 정확한 예측포지션 헤드를 통합하여 씬 내 다양한 3D 에셋의 공간 레이아웃을 정확하게 예측하고 배치하여 오브젝트 간 공간 관계의 합리성을 보장함으로써 사실적인 가상 환경을 구축하는 데 중요한 역할을 합니다.

SceneGen의 핵심 강점

• 품질 생성생성된 3D 씬은 구조적으로 완벽하고 세밀한 텍스처와 정확한 공간 관계를 가지며, 합성 및 실제 데이터 세트 모두에서 기존 방식(예: PartCrafter, MIDI 등)보다 기하학적 정확도와 시각적 품질이 훨씬 우수합니다.
• 효율성 향상다중 리소스 생성은 반복적인 최적화 없이 단일 피드 포워드로 수행할 수 있으며, 품질과 속도를 모두 고려하여 4개의 에셋으로 텍스처화된 씬을 생성하는 데 약 2분이 소요됩니다.
• 일반화 기능단일 이미지 입력으로만 학습되지만, 여러 이미지를 입력하면 생성 품질을 더욱 향상시켜 복잡한 장면에 더 잘 적응할 수 있습니다.

SceneGen의 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://mengmouxu.github.io/SceneGen/
• 깃허브 리포지토리:: https://github.com/mengmouxu/scenegen
• 허깅페이스 모델 라이브러리:: https://huggingface.co/haoningwu/scenegen
• arXiv 기술 논문:: https://arxiv.org/pdf/2508.15769

SceneGen의 대상

• 게임 개발자 및 인디 프로듀서리소스가 제한된 독립 게임 개발사나 중소형 스튜디오의 경우 SceneGen을 사용하면 3D 씬 아트 에셋 제작에 드는 시간과 비용을 획기적으로 줄일 수 있습니다. 개발자는 콘셉트 도면이나 참고 사진만 제공하면 게임 엔진에서 바로 사용할 수 있는 3D 씬을 빠르게 생성할 수 있어 개발 효율성이 크게 향상됩니다.
• 가상 현실(VR) 및 증강 현실(AR) 콘텐츠 제작자SceneGen의 엔드투엔드 생성 기능은 수많은 사실적이고 인터랙티브한 가상 환경을 효율적으로 구축해야 하는 VR/AR 애플리케이션을 위한 사용자 경험의 몰입형 3D 씬을 빠르게 프로토타이핑하고 제작하는 데 이상적입니다.
• 부동산 및 건물 시각화 전문가부동산 중개인, 건축가, 인테리어 디자이너는 SceneGen을 사용하여 고객의 평면도나 인테리어 현장 사진을 대화형 3D 공간 디스플레이로 빠르게 변환하여 고객이 공간 배치와 디자인 효과를 보다 직관적으로 이해할 수 있도록 도울 수 있습니다.
• 영화 및 애니메이션 프리 프로덕션 팀영화, TV, 애니메이션의 사전 콘셉트 디자인 및 스토리보드 단계에서 팀은 SceneGen을 사용하여 2D 스토리보드 또는 씬 레퍼런스를 샷 미리보기, 구도 및 조명 테스트에 사용할 수 있는 기본 3D 레이아웃으로 빠르게 변환하여 사전 제작 프로세스를 가속화할 수 있습니다.
• 구현된 AI 연구원로봇, 자율 주행 시스템 및 기타 지능을 시뮬레이션 환경에서 학습하도록 훈련하는 것이 핵심입니다. 연구자들은 훈련 환경으로 수많은 다양한 3D 씬이 필요하며, SceneGen의 효율적인 생성 기능을 통해 필요한 가상 훈련 세계를 빠르게 구축할 수 있습니다.