MirageLSD - Decart AI lance le premier modèle de génération de vidéos en temps réel par l'IA

Qu'est-ce que MirageLSD ?

MirageLSD est le premier modèle vidéo d'IA de diffusion en temps réel lancé par l'équipe Decart AI. Il est capable de générer des vidéos en temps réel d'une durée illimitée, avec une latence aussi faible que 40 ms et une sortie fluide à 24 images/seconde. Grâce à la technologie de forçage par diffusion et à la formation à l'amélioration de l'historique, il résout le problème de l'accumulation d'erreurs du modèle autorégressif traditionnel dans la génération de longue durée, et permet de générer des vidéos illimitées. Basé sur des méga-noyaux optimisés par Hopper, un élagage tenant compte de l'architecture et des raccourcis. Distillation MirageLSD a été conçu pour augmenter considérablement la vitesse de génération tout en maintenant une qualité d'image élevée, ce qui permet une véritable interaction en temps réel.

Principales caractéristiques de MirageLSD

• Génération de vidéos en temps réel d'une durée illimitéeMirageLSD génère des flux vidéo d'une durée illimitée avec une latence aussi faible que 40 millisecondes et prend en charge un taux de génération en temps réel de 24 images/seconde, ce qui résout le problème de l'accumulation d'erreurs dans les modèles de génération vidéo traditionnels sur de longues périodes de temps.
• interactivité en temps réelLes utilisateurs peuvent être invités, convertis et édités en temps réel pendant le processus de génération de la vidéo, pour une expérience interactive continue.
• Traitement à faible latenceLe modèle permet un traitement à très faible latence (40 millisecondes) pour la génération de vidéos en temps réel grâce à des techniques d'optimisation telles que les Mega Kernels optimisés par Hopper et l'élagage en fonction de l'architecture.

Adresse du projet MirageLSD

• Documents techniques: : https://about.decart.ai/publications/mirage

Principes techniques de MirageLSD

• Technologie de forçage par diffusionLa génération au niveau de l'image est réalisée par un débruitage image par image, ce qui permet au modèle de générer des images uniques sans le contexte vidéo complet.
• Formation à l'amélioration de l'histoireL'introduction de données bruitées provenant de trames historiques au cours de la formation permet au modèle de prédire et de corriger les erreurs dans les données d'entrée, ce qui conduit à une génération infinie.
• stratégie d'optimisation: :
  • Mega Kernels optimisés pour la trémieOptimisé pour l'architecture GPU NVIDIA Hopper afin de réduire la latence du modèle à chaque couche.
  • Élagage tenant compte de l'architectureRéduire les calculs en redimensionnant les paramètres du modèle pour l'adapter à l'architecture du GPU.
  • Distillation rapideRéduire l'étape de diffusion nécessaire à la génération en formant des modèles plus petits pour qu'ils correspondent aux trajectoires de débruitage des modèles plus grands.

Comment l'utiliser

• Utilisation de la plate-forme MirageLSDPour ce faire, vous devez : visiter le site officiel de Mirage fourni par Decart AI : https://mirage.decart.ai/. Connectez le flux vidéo préparé à la plateforme Mirage.
• Préparation du flux vidéo d'entrée
  • Chat vidéo ou diffusion en directLa source d'entrée est la sortie d'une webcam ou d'un logiciel de diffusion en direct.
  • écran de jeu: Flux en direct de la sortie vidéo du jeu.
  • écran d'ordinateurCapture le contenu de l'écran en tant qu'entrée.
• Conversion et édition en temps réelMirage : Sur la plateforme Mirage, les utilisateurs peuvent modifier le contenu d'un flux vidéo en temps réel en saisissant des invites textuelles ou en sélectionnant un style prédéfini. La plateforme prend en charge l'interaction en temps réel, ce qui permet aux utilisateurs d'ajuster les messages-guides ou les styles en fonction des besoins pour des transitions vidéo dynamiques.
• Sorties et applicationsLes flux vidéo convertis peuvent être utilisés directement pour la diffusion en direct, les jeux, les appels vidéo et d'autres scénarios.

Avantages du modèle MirageLSD

• Faible latence et génération infinieMirageLSD : MirageLSD permet un traitement à très faible latence (moins de 40 millisecondes) et génère des flux vidéo de longueur illimitée en temps réel à 24 images/seconde. Cela permet d'éliminer les goulets d'étranglement liés à la latence et à la longueur des modèles de génération vidéo traditionnels, qui génèrent généralement des clips de 5 à 10 secondes avec une latence de plus de 10 secondes. L'efficacité globale du modèle est améliorée de plus de 100 fois grâce à l'optimisation innovante du méga-noyau CUDA et aux techniques d'entraînement anti-dérive.
• Une puissante interactivité en temps réelMirageLSD prend en charge la réponse dynamique en temps réel, ce qui permet aux utilisateurs d'ajuster dynamiquement le contenu pendant le processus de génération vidéo, en veillant à ce que le résultat soit toujours conforme à l'idée créative. Le haut degré de flexibilité et de contrôle permet à MirageLSD de montrer un grand potentiel dans la production de contenu créatif. Les utilisateurs peuvent modifier l'aspect, la scène ou les vêtements d'une vidéo en temps réel grâce à des interactions simples telles que le contrôle gestuel.

Scénarios d'application pour MirageLSD

Les scénarios d'application de MirageLSD comprennent : la diffusion en direct et les appels vidéo, qui convertissent les appels vidéo ordinaires ou le contenu de la diffusion en direct en scénarios spécifiés par l'utilisateur en temps réel, par exemple en transformant une scène réaliste en un monde de science-fiction. Le développement de jeux, qui convertit en temps réel les écrans de jeu en différents styles visuels, par exemple en transformant une scène de bataille normale en un duel au sabre laser. La production d'animations et l'habillage virtuel, qui fournit un support d'effets visuels en temps réel pour la production d'animations et l'habillage virtuel.