Mixed World Model 1.5 - Marco de generación de modelos del mundo en tiempo real de código abierto Tencent Mixed

Qué es el modelo de mundo híbrido 1.5

Hybrid WorldPlay 1.5 (Tencent HY WorldPlay) es el primer marco de modelización del mundo en tiempo real de código abierto lanzado por Tencent, que abarca toda la cadena de despliegue de datos, entrenamiento e inferencia de flujo. El núcleo es el modelo de difusión autorregresiva WorldPlay, que se entrena mediante la tarea Next-Frames-Prediction, resolviendo el problema de la coherencia geométrica y en tiempo real. La generación de interacciones en tiempo real, mediante el esquema original de destilación Context Forcing y la optimización de la inferencia de streaming, puede generar vídeo HD 720P a 24 fotogramas por segundo; la coherencia 3D de largo alcance, con la ayuda del mecanismo de memoria reconstruida, soporta la generación de coherencia geométrica de contenidos a nivel de minuto; experiencia de interacción diversificada, aplicable a diferentes estilos de escenarios y perspectivas en primera y tercera persona.

Características funcionales del Modelo Mundial Híbrido 1.5

• Capacidad de generación de interacciones en tiempo realMediante el original esquema de "destilación alineada con el contexto" y la optimización del razonamiento de streaming, el modelo puede generar flujos de vídeo HD de 720p en tiempo real a 24 fotogramas por segundo, lo que garantiza una interacción fluida y permite a los usuarios manipular el punto de vista y el entorno en tiempo real.
• Consistencia 3D de largo alcanceEl modelo puede soportar la generación de contenidos de vídeo hasta el nivel de minuto con un alto grado de coherencia geométrica gracias al Mecanismo de Memoria Reconstructiva (RMM), sentando las bases para la construcción de un simulador espacial 3D de alta calidad.
• Diversas experiencias interactivasLos usuarios pueden generar rápidamente un exclusivo mundo interactivo en 3D con sólo introducir una descripción de texto o una imagen. Con un teclado, ratón o joystick, los usuarios pueden controlar libremente el movimiento del punto de vista y la dirección como si estuvieran controlando a un personaje de un juego, y explorar el entorno generado por la IA de forma inmersiva.
• Marco de enlace completo de código abierto: El primer sistema de código abierto de entrenamiento de modelos del mundo en tiempo real, que cubre toda la cadena y el eslabón de despliegue de datos, entrenamiento e inferencia, proporcionando a los desarrolladores un proceso completo de desarrollo y despliegue.
• Adquisición de datos de alta calidadEl proceso automatizado de renderizado de escenas 3D creado por el equipo de Mixed Meta permite acceder a grandes cantidades de datos de renderizado del mundo real de alta calidad, lo que impulsa aún más el potencial de los algoritmos centrales.

Principales ventajas del modelo de mundo híbrido 1.5

• Tiempo real y fluidez: La capacidad de generar secuencias de vídeo HD de 720p en tiempo real a 24 fotogramas por segundo garantiza una interacción fluida e instantánea con el usuario.
• coherencia a largo plazo: Admite la generación de contenidos 3D hasta el nivel de minuto y mantiene un alto grado de coherencia geométrica para la generación de larga duración de escenas complejas.
• Variedad de interacciones: Admite múltiples métodos de entrada (texto, imágenes) y modos de interacción (primera persona, tercera persona) para ofrecer una experiencia de exploración 3D envolvente.
• Código abierto y compatibilidad total con enlaces: Por primera vez se abre en código abierto un sistema completo de formación y despliegue, que abarca datos, formación, inferencia, etc., para ofrecer a los desarrolladores un sólido apoyo técnico.
• Datos de alta calidadObtención de datos de alta calidad mediante la automatización del proceso de renderizado de escenas 3D para mejorar aún más la calidad de la generación y generalización de modelos.
• Marcos de formación innovadoresMejora de la calidad visual y la coherencia geométrica de los contenidos generados mediante técnicas de destilación alineadas con el contexto y un marco de aprendizaje por refuerzo de recompensas en 3D.

¿Cuál es la página web oficial del modelo 1.5 de Mundo Híbrido?

• Página web del proyecto:: https://3d-models.hunyuan.tencent.com/world/
• Repositorio GitHub:: https://github.com/Tencent-Hunyuan/HY-WorldPlay
• Biblioteca de modelos HuggingFace:: https://huggingface.co/tencent/HY-WorldPlay
• Documentos técnicos:: https://3d-models.hunyuan.tencent.com/world/world1_5/HYWorld_1.5_Tech_Report.pdf

Personas para Hybrid World Model 1.5

• desarrollador de juegos: Se puede utilizar para generar rápidamente escenas y contenidos de juegos, reducir los costes de desarrollo y mejorar la eficiencia del desarrollo, especialmente adecuado para el desarrollo de juegos 3D que requieren interacción en tiempo real y generación a largo plazo.
• Equipo VFXPuede generar escenas y animaciones 3D de alta calidad en tiempo real, lo que proporciona una herramienta de generación de contenidos más eficaz para la producción de efectos especiales de cine y televisión y acelera el proceso de creación.
• Desarrolladores de Realidad Virtual (RV) y Realidad Aumentada (RA): Admite experiencias interactivas 3D inmersivas para el desarrollo de aplicaciones VR/AR, creando entornos virtuales más realistas y fluidos para los usuarios.
• Investigadores en inteligencia artificial: El marco de código abierto y enlaces y los conjuntos de datos de alta calidad proporcionan a los investigadores un rico recurso que facilita la investigación y la innovación en campos afines.
• creador de contenidos: por ejemplo, videoblogueros, animadores, etc., pueden generar rápidamente contenidos creativos mediante la simple introducción de texto o imágenes, lo que aumenta la diversidad y eficacia de la creación de contenidos.
• Educadores y estudiantesEl sistema de aprendizaje en línea: puede utilizarse para crear escenarios de enseñanza y aprendizaje inmersivos que aumenten la diversión y la interactividad del aprendizaje y proporcionen una plataforma para que los estudiantes practiquen y exploren.