SpatialGen - Modelos de generación de escenas 3D de código abierto de Qunar Technologies

¿Qué es SpatialGen?

SpatialGen es un modelo de generación de escenas 3D de código abierto basado en la arquitectura del modelo de difusión, que permite generar imágenes multivista coherentes espaciotemporalmente a partir de descripciones textuales, imágenes de referencia y disposición espacial 3D, así como generar escenas gaussianas 3D y renderizar vídeos itinerantes. El modelo resuelve el problema de la incoherencia espacial entre diferentes fotogramas de objetos en el modelo de generación de vídeo existente, para garantizar que las imágenes y los vídeos generados sean más realistas y coherentes visual y físicamente. SpatialGen tiene una amplia gama de aplicaciones en el campo del diseño de interiores, la realidad virtual, el desarrollo de juegos, la simulación robótica y la producción de cine y televisión, entre otros.

Características de SpatialGen

• Generación de imágenes multivistaSpatialGen genera imágenes multivista basadas en texto, imágenes y diseños espaciales, garantizando la precisión de la posición y la forma de los objetos en los distintos puntos de vista y produciendo imágenes de alta calidad.
• Generación de escenas gaussianas en 3DEl modelo permite transformar imágenes multivista en escenas gaussianas 3D, renderizar vídeos itinerantes para ofrecer una experiencia 3D envolvente y personalizar el diseño paramétrico para satisfacer distintas necesidades.
• Garantías de coherencia espacial y temporalSpatialGen: SpatialGen garantiza que la forma y las relaciones espaciales de los objetos en el vídeo generado sean estables y coherentes a lo largo de múltiples fotogramas, evitando desplazamientos posicionales y mejorando el realismo visual y físico.
• Generación controlada de diseño paramétricoLos usuarios pueden ajustar con flexibilidad el diseño de la escena y la posición de los objetos para generar rápidamente escenas y vídeos en 3D que se ajusten a sus necesidades y mejoren la eficacia de la creación.

Puntos fuertes de SpatialGen

• coherencia espacio-temporalEl modelo de generación de vídeo: Las imágenes multivista generadas son altamente consistentes en el tiempo y el espacio, y las formas y relaciones espaciales de los objetos son estables y coherentes en diferentes fotogramas, lo que resuelve el problema de confusión lógica espacial común de los modelos de generación de vídeo existentes.
• Itinerancia holográfica realistaEl resultado es un sistema de imágenes y vídeos visualmente muy realistas, que permiten al usuario desplazarse libremente por las escenas generadas para disfrutar de una experiencia envolvente.
• Opciones de visualización flexibles: Soporta la generación de imágenes desde múltiples puntos de vista, permitiendo a los usuarios elegir diferentes puntos de vista para ver la escena según sea necesario, proporcionando una experiencia visual más rica.
• Generación controlada de diseño paramétrico: Admite la generación controlada basada en el diseño paramétrico, los usuarios pueden controlar la generación de escenas ajustando los parámetros para satisfacer diferentes necesidades.
• Utilización eficaz de los datosEl entrenamiento con los datos masivos de escenas 3D de Qunar Technology garantiza que las escenas generadas sean de gran calidad y realismo, al tiempo que mejora la capacidad de generalización del modelo.
• Generación de escenas 3D gaussianasEl objetivo de este proyecto es ofrecer a los usuarios una experiencia interactiva más rica: las imágenes multivista generadas pueden transformarse en escenas gaussianas tridimensionales y convertirse en vídeos itinerantes.

¿Cuál es la página web oficial de SpatialGen?

• Repositorio GitHub:: https://github.com/manycore-research/SpatialGen
• Biblioteca de modelos HuggingFace:: https://huggingface.co/manycore-research/SpatialGen-1.0

A quién va dirigido SpatialGen

• interioristaGenerar rápidamente una variedad de soluciones de diseño de interiores, mostrar intuitivamente el efecto del diseño, mejorar la eficiencia del diseño y el efecto de comunicación con el cliente.
• diseñador de juegos: Genere rápidamente escenas y entornos 3D en los juegos, acelere el proceso de desarrollo del juego y mejore el realismo y la inmersión de las escenas.
• desarrolladores
• Desarrolladores VR/AR: Genera escenas 3D realistas para su uso en aplicaciones de realidad virtual y realidad aumentada con el fin de proporcionar una experiencia inmersiva.
• Desarrolladores de robotsGeneración de escenas 3D de viviendas, talleres industriales, etc. para el entrenamiento de robots con el fin de mejorar su adaptabilidad y rendimiento al entorno.
• autor (de algún proyecto)
• productor de cine: Genere escenas y animaciones 3D de alta calidad para mejorar la eficacia de la producción de cine y televisión y reducir los costes de producción.