MirageLSD - Decart AI lança o primeiro modelo de geração de vídeo com IA em tempo real

O que é MirageLSD

O MirageLSD é o primeiro modelo de vídeo de IA de difusão de streaming em tempo real do mundo lançado pela equipe de IA da Decart, capaz de gerar vídeo em tempo real com duração ilimitada, latência tão baixa quanto 40 ms e saída suave a 24 quadros/segundo. Por meio da tecnologia Diffusion Forcing e do treinamento de aprimoramento de histórico, ele resolve o problema de acúmulo de erros do modelo autorregressivo tradicional na geração de longo prazo e realiza a geração de vídeos ilimitados. Baseado em Mega Kernels otimizados para Hopper, poda com reconhecimento de arquitetura e Shortcut. Destilação O MirageLSD foi projetado para aumentar drasticamente a velocidade de geração e, ao mesmo tempo, manter a alta qualidade de imagem, permitindo uma verdadeira interação em tempo real.

Principais recursos do MirageLSD

• Geração de vídeo em tempo real com duração ilimitadaO MirageLSD gera fluxos de vídeo de duração ilimitada com latência tão baixa quanto 40 milissegundos e suporta uma taxa de geração em tempo real de 24 quadros/segundo, o que resolve o problema de acúmulo de erros nos modelos tradicionais de geração de vídeo durante longos períodos de tempo.
• interatividade em tempo realOs usuários podem ser solicitados, convertidos e editados em tempo real durante o processo de geração de vídeo para uma experiência interativa contínua.
• Processamento de baixa latênciaO modelo atinge um processamento de latência ultrabaixa de 40 milissegundos para dar suporte à geração de vídeo em tempo real por meio de técnicas de otimização, como Mega Kernels otimizados para Hopper e poda com reconhecimento de arquitetura.

Endereço do projeto MirageLSD

• Documentos técnicos:: https://about.decart.ai/publications/mirage

Princípios técnicos do MirageLSD

• Tecnologia de forçamento de difusãoGeração em nível de quadro: A geração em nível de quadro é obtida por meio da redução de ruído quadro a quadro, permitindo que o modelo gere imagens de um único quadro sem o contexto completo do vídeo.
• Treinamento de aprimoramento do históricoIntrodução de dados ruidosos de quadros históricos durante o treinamento permite que o modelo preveja e corrija erros nas entradas, levando a uma geração infinita.
• estratégia de otimização::
  • Mega Kernels otimizados para funilOtimizado para a arquitetura de GPU NVIDIA Hopper para reduzir a latência do modelo em cada camada.
  • Poda com reconhecimento de arquiteturaReduzir a computação redimensionando os parâmetros do modelo para que se ajustem à arquitetura da GPU.
  • Destilação por atalhoRedução da etapa de difusão necessária para a geração, treinando modelos menores para corresponder às trajetórias de redução de ruído de modelos maiores.

Como usar

• Usando a plataforma MirageLSDVisite o site oficial do Mirage fornecido pela Decart AI: https://mirage.decart.ai/. Conecte o fluxo de vídeo preparado à plataforma Mirage.
• Preparação do fluxo de vídeo de entrada
  • Bate-papo por vídeo ou transmissão ao vivoUse a saída de uma webcam ou de um software de transmissão ao vivo como fonte de entrada.
  • tela do jogoTransmissão ao vivo da saída de vídeo do jogo.
  • tela do computadorCaptura o conteúdo da tela como entrada.
• Conversão e edição em tempo realNa plataforma Mirage, os usuários podem alterar o conteúdo de um fluxo de vídeo em tempo real, inserindo prompts de texto ou selecionando um estilo predefinido. A plataforma suporta interação em tempo real, permitindo que os usuários ajustem os prompts ou estilos conforme necessário para transições dinâmicas de vídeo.
• Saídas e aplicativosSe você não tiver um computador, poderá usar os fluxos de vídeo convertidos diretamente para transmissão ao vivo, jogos, chamadas de vídeo e outros cenários.

Vantagens do modelo MirageLSD

• Baixa latência com geração infinitaMirageLSD: O MirageLSD atinge um processamento de latência ultrabaixa de menos de 40 milissegundos e gera fluxos de vídeo de duração ilimitada em tempo real a 24 quadros/segundo. Isso elimina os gargalos de latência e duração dos modelos tradicionais de geração de vídeo, que normalmente geram clipes de 5 a 10 segundos com mais de 10 segundos de latência. A eficiência geral do modelo é aprimorada em mais de 100 vezes por meio da otimização inovadora do CUDA Megakernel e de técnicas de treinamento antidrift.
• Poderosa interatividade em tempo realMirageLSD suporta resposta dinâmica em tempo real, permitindo que os usuários ajustem dinamicamente o conteúdo durante o processo de geração de vídeo, garantindo que o resultado seja sempre consistente com a ideia criativa. O alto grau de flexibilidade e controle permite que o MirageLSD demonstre grande potencial na produção de conteúdo criativo. Os usuários podem alterar o visual, a cena ou a roupa em um vídeo em tempo real por meio de interações simples, como o controle por gestos.

Cenários de aplicativos para o MirageLSD

Os cenários de aplicação do MirageLSD incluem: transmissão ao vivo e chamadas de vídeo, que convertem chamadas de vídeo comuns ou conteúdo de transmissão ao vivo em cenários especificados pelo usuário em tempo real, por exemplo, transformando uma cena realista em um mundo de ficção científica. Desenvolvimento de jogos, que converte telas de jogos em diferentes estilos visuais em tempo real, como a transformação de uma cena de batalha normal em um duelo de sabres de luz. Produção de animações e cenários virtuais, fornecendo suporte a efeitos visuais em tempo real para produção de animações e cenários virtuais.