SceneGen - framework de código abierto de la Universidad Jiao Tong de Shanghai para generar escenas 3D a partir de una sola imagen

¿Qué es SceneGen?

SceneGen es un método de código abierto para generar escenas 3D a partir de una sola imagen de la Universidad Jiao Tong de Shanghai. A partir de una sola imagen de escena y una máscara de recursos de destino, se genera eficazmente una escena completa que contiene múltiples recursos 3D, incluida la estructura geométrica de los recursos, la textura y la ubicación espacial relativa.Tomando como entrada una única imagen de la escena y la correspondiente máscara de recursos de destino, se generan simultáneamente múltiples recursos 3D en un único proceso de avance, cada uno de ellos con una estructura geométrica completa, una textura detallada y una posición espacial relativa precisa, lo que permite la conversión directa de imagen 2D a escena 3D.

Características de SceneGen

• Cogeneración de entrada de mapa únicoLa capacidad de generar simultáneamente la geometría, la textura y las posiciones espaciales relativas de múltiples activos 3D en una escena a partir de una única imagen de escena 2D y su correspondiente máscara de destino mediante un único proceso de propagación hacia delante simplifica enormemente el complejo proceso de creación de contenidos 3D tradicional.
• Agregación de información local y globalEn la fase de extracción de características, el módulo único puede agregar eficazmente la información de detalle local y la información de contexto global de la escena, garantizando que los activos 3D generados no sólo sean localmente finos, sino que también mantengan un alto grado de racionalidad y coherencia con el diseño general de la escena.
• Generación eficiente de extremo a extremoEl enfoque de generación de extremo a extremo evita los engorrosos pasos intermedios y mejora significativamente la eficiencia de la generación de escenas 3D desde el concepto hasta la usabilidad, a diferencia de los enfoques tradicionales que se basan en una optimización que lleva mucho tiempo o en la recuperación y el montaje de activos en varios pasos.
• Predicción precisa de las relaciones espacialesEl modelo, que integra un cabezal de posición, predice y ordena con precisión la disposición espacial de los distintos activos 3D en la escena, garantizando la racionalidad de la relación espacial entre los objetos, lo que resulta crucial para construir un entorno virtual creíble.

Puntos fuertes de SceneGen

• Generar calidadLas escenas 3D generadas son estructuralmente completas y están finamente texturizadas, con relaciones espaciales precisas, y tienen una precisión geométrica y una calidad visual significativamente mejores que los métodos existentes (por ejemplo, PartCrafter, MIDI, etc.) tanto en conjuntos de datos sintéticos como del mundo real.
• Mejora de la eficiencia: La generación de múltiples recursos puede realizarse en un solo avance sin optimización iterativa, y se tarda unos 2 minutos en generar una escena texturizada con 4 activos, teniendo en cuenta tanto la calidad como la velocidad.
• capacidad de generalizaciónLa calidad de la generación puede mejorarse con múltiples entradas de imágenes para una mayor adaptabilidad a escenas complejas.

¿Cuál es la web oficial de SceneGen?

• Página web del proyecto:: https://mengmouxu.github.io/SceneGen/
• Repositorio Github:: https://github.com/mengmouxu/scenegen
• Biblioteca de modelos HuggingFace:: https://huggingface.co/haoningwu/scenegen
• Documento técnico arXiv:: https://arxiv.org/pdf/2508.15769

A quién va dirigido SceneGen

• Desarrolladores de juegos y productores independientesPara desarrolladores de juegos independientes o estudios pequeños o medianos con recursos limitados, SceneGen puede reducir drásticamente el tiempo y el coste económico de la creación de activos artísticos de escenas 3D. Los desarrolladores solo tienen que proporcionar dibujos conceptuales o fotos de referencia para generar rápidamente escenas 3D que pueden utilizarse directamente en el motor del juego, lo que mejora notablemente la eficiencia del desarrollo.
• Creadores de contenidos de realidad virtual (RV) y realidad aumentada (RA)Las capacidades de generación integral de SceneGen son ideales para la creación rápida de prototipos y la producción de escenas 3D inmersivas y experimentadas por el usuario para aplicaciones VR/AR que requieren la construcción eficiente de un gran número de entornos virtuales realistas e interactivos.
• Profesionales de la visualización de inmuebles y edificiosSceneGen: los agentes inmobiliarios, arquitectos y diseñadores de interiores pueden utilizar SceneGen para convertir rápidamente los planos de planta o las fotos de interiores in situ de sus clientes en visualizaciones interactivas de espacios en 3D, lo que ayuda a los clientes a comprender de forma más intuitiva la distribución espacial y los efectos del diseño.
• Equipo de preproducción de cine y animaciónEn las fases de diseño preconceptual y storyboard del cine, la televisión y la animación, los equipos pueden utilizar SceneGen para acelerar el proceso de preproducción convirtiendo rápidamente storyboards 2D o referencias de escenas en diseños 3D básicos que pueden utilizarse para previsualizar planos, probar composiciones e iluminar.
• Investigadores de IA incorporadaLa clave para entrenar robots, sistemas de conducción autónoma y otras inteligencias para que aprendan en entornos simulados. Los investigadores necesitan un gran número de escenas 3D diversas como entornos de entrenamiento, y la eficiente capacidad de generación de SceneGen les permite construir rápidamente los mundos virtuales de entrenamiento que necesitan.