MirageLSD - Decart AI lanza el primer modelo de generación de vídeo de IA en tiempo real

Qué es MirageLSD

MirageLSD es el primer modelo de vídeo AI de difusión en tiempo real del mundo lanzado por el equipo Decart AI, que es capaz de generar vídeo en tiempo real con duración ilimitada, latencia tan baja como 40ms, y salida suave a 24 fotogramas/segundo. Mediante la tecnología Diffusion Forcing y el entrenamiento de mejora de la historia, resuelve el problema de la acumulación de errores del modelo autorregresivo tradicional en la generación a largo plazo, y realiza una generación de vídeo ilimitada. Basado en Mega Kernels optimizados para Hopper, poda en función de la arquitectura y Shortcut. Destilación MirageLSD se ha diseñado para aumentar drásticamente la velocidad de generación manteniendo una alta calidad de imagen, lo que permite una verdadera interacción en tiempo real.

Características principales de MirageLSD

• Generación de vídeo en tiempo real de duración ilimitadaMirageLSD genera flujos de vídeo de duración ilimitada con una latencia de tan sólo 40 milisegundos y admite una tasa de generación en tiempo real de 24 fotogramas/segundo, lo que resuelve el problema de la acumulación de errores en los modelos tradicionales de generación de vídeo durante largos periodos de tiempo.
• interactividad en tiempo realEl proceso de generación de vídeo permite a los usuarios consultar, convertir y editar en tiempo real para disfrutar de una experiencia interactiva continua.
• Procesamiento de baja latenciaEl modelo consigue un procesamiento de latencia ultrabaja de 40 milisegundos para generar vídeo en tiempo real mediante técnicas de optimización como los Mega Kernels optimizados para Hopper y la poda en función de la arquitectura.

Dirección del proyecto MirageLSD

• Documentos técnicos:: https://about.decart.ai/publications/mirage

Principios técnicos de MirageLSD

• Tecnología de difusión forzadaGeneración a nivel de fotograma: la generación a nivel de fotograma se consigue mediante la eliminación de ruido fotograma a fotograma, lo que permite al modelo generar imágenes de un solo fotograma sin el contexto de vídeo completo.
• Formación para mejorar la historiaEl modelo de la UE: Introducir datos ruidosos de tramas históricas durante el entrenamiento permite al modelo predecir y corregir errores en las entradas, lo que conduce a una generación infinita.
• estrategia de optimización::
  • Meganúcleos optimizados para tolvasOptimizado para la arquitectura de GPU NVIDIA Hopper a fin de reducir la latencia del modelo en cada capa.
  • Poda en función de la arquitecturaReducir el cálculo redimensionando los parámetros del modelo para adaptarlos a la arquitectura de la GPU.
  • Destilación abreviadaReducir el paso de difusión necesario para la generación entrenando modelos más pequeños para que coincidan con las trayectorias de eliminación de ruido de los modelos más grandes.

Cómo utilizarlo

• Uso de la plataforma MirageLSDVisite el sitio web oficial de Mirage proporcionado por Decart AI: https://mirage.decart.ai/. Conecte el flujo de vídeo preparado a la plataforma Mirage.
• Preparación del flujo de vídeo de entrada
  • Videochat o retransmisión en directoUtiliza la salida de una webcam o un software de streaming en directo como fuente de entrada.
  • pantalla de juego: Transmisión en directo desde la salida de vídeo del juego.
  • pantalla del ordenadorCaptura el contenido de la pantalla como entrada.
• Conversión y edición en tiempo realLa plataforma Mirage permite a los usuarios cambiar el contenido de un flujo de vídeo en tiempo real introduciendo mensajes de texto o seleccionando un estilo preestablecido. La plataforma admite la interacción en tiempo real, lo que permite a los usuarios ajustar las indicaciones o los estilos según sea necesario para realizar transiciones de vídeo dinámicas.
• Salidas y aplicacionesLos flujos de vídeo convertidos pueden utilizarse directamente para retransmisiones en directo, juegos, videollamadas y otros escenarios.

Ventajas del modelo MirageLSD

• Baja latencia con generación infinitaMirageLSD: MirageLSD consigue un procesamiento de latencia ultrabaja de menos de 40 milisegundos y genera secuencias de vídeo de longitud ilimitada en tiempo real a 24 fotogramas por segundo. Esto rompe los cuellos de botella de latencia y longitud de los modelos tradicionales de generación de vídeo, que suelen generar clips de 5-10 segundos con más de 10 segundos de latencia. La eficiencia global del modelo se ha multiplicado por más de 100 gracias a la innovadora optimización del Megakernel CUDA y a las técnicas de entrenamiento antidrift.
• Potente interactividad en tiempo realRespuesta dinámica en tiempo real : MirageLSD admite la respuesta dinámica en tiempo real, lo que permite a los usuarios ajustar dinámicamente el contenido durante el proceso de generación de vídeo, garantizando que el resultado sea siempre coherente con la idea creativa. El alto grado de flexibilidad y control permite a MirageLSD mostrar un gran potencial en la producción de contenidos creativos. Los usuarios pueden cambiar el aspecto, la escena o la ropa de un vídeo en tiempo real mediante interacciones sencillas como el control por gestos.

Escenarios de aplicación de MirageLSD

Los escenarios de aplicación de MirageLSD son: la emisión en directo y la videollamada, que convierte en tiempo real contenidos ordinarios de videollamada o emisión en directo en escenarios especificados por el usuario, por ejemplo, cambiando una escena realista por un mundo de ciencia ficción. Desarrollo de juegos, que convierte las pantallas de los juegos en diferentes estilos visuales en tiempo real, como cambiar una escena de batalla normal en un duelo de sables láser. Producción de animación y vestuario virtual, que proporciona soporte de efectos visuales en tiempo real para la producción de animación y el vestuario virtual.