MirageLSD - Decart AI、初のリアルタイムAI動画生成モデルを発表

9.9K 00

MirageLSDとは

MirageLSDは、Decart AIチームによって発表された世界初のリアルタイムストリーミング拡散AIビデオモデルであり、無制限の時間、40msという低遅延、24フレーム/秒の滑らかな出力でリアルタイムビデオを生成することができます。拡散強制技術と履歴強化トレーニングにより、従来の自己回帰モデルの長時間生成におけるエラー蓄積の問題を解決し、無制限のビデオ生成を実現する。Hopperに最適化されたMega Kernels、アーキテクチャを考慮した刈り込み、Shortcutに基づく。蒸留 MirageLSDは、高画質を維持しながら生成速度を劇的に向上させるように設計されており、真のリアルタイムインタラクションを可能にする。

MirageLSDの主な特徴

期間無制限のリアルタイムビデオ生成MirageLSDは、40ミリ秒という低レイテンシーで無制限の継続時間のビデオストリームを生成し、24フレーム/秒のリアルタイム生成レートをサポートしており、従来のビデオ生成モデルにおける長時間のエラー蓄積の問題を解決している。
リアルタイム・インタラクティビティユーザーは、ビデオ生成プロセス中にリアルタイムでプロンプトを表示し、変換し、編集することができます。
低遅延処理このモデルは、Hopperに最適化されたMega Kernelsやアーキテクチャを考慮したプルーニングなどの最適化技術により、40ミリ秒という超低遅延処理を実現し、リアルタイムのビデオ生成をサポートします。

MirageLSDプロジェクトアドレス

技術論文:: https://about.decart.ai/publications/mirage

MirageLSDの技術原理

拡散強制技術フレームレベルの生成は、フレームごとのノイズ除去によって達成され、完全なビデオコンテキストなしで単一フレーム画像を生成することを可能にする。
歴史強化トレーニングトレーニング中に過去のフレームからノイズの多いデータを導入することで、モデルは入力のエラーを予測し、修正することができる。
最適化戦略::
- ホッパー最適化メガカーネルNVIDIA Hopper GPUアーキテクチャーに最適化され、各レイヤーでのモデルレイテンシーを削減。
- アーキテクチャを考慮した刈り込みGPUアーキテクチャに合わせてモデルパラメータのサイズを変更することで、計算量を削減します。
- ショートカット蒸留大きなモデルのノイズ除去軌跡に合わせて小さなモデルをトレーニングすることで、生成に必要な拡散ステップを減らす。

使用方法

MirageLSDプラットフォームの使用: Decart AIが提供するMirageの公式ウェブサイトhttps://mirage.decart.ai/。用意されたビデオストリームをMirageプラットフォームに接続する。
入力ビデオストリームの準備
- ビデオチャットまたはライブストリーミングウェブカメラやライブストリーミングソフトウェアの出力を入力ソースとして使用します。
- ゲーム画面試合のビデオ出力からのライブフィード。
- コンピュータ画面画面の内容を入力として取り込む。
リアルタイム変換と編集Mirageプラットフォームでは、ユーザーはテキストプロンプトを入力したり、プリセットのスタイルを選択することで、ビデオストリームのコンテンツをリアルタイムで変更することができます。このプラットフォームはリアルタイムのインタラクションをサポートしており、ユーザーは必要に応じてプロンプトやスタイルを調整し、ダイナミックなビデオトランジションを行うことができます。
アウトプットとアプリケーション変換されたビデオストリームは、ライブストリーミング、ゲーム、ビデオ通話などに直接使用できます。

MirageLSDモデルのメリット

無限世代による低レイテンシーMirageLSDは40ミリ秒以下の超低遅延処理を実現し、24フレーム/秒で無制限の長さのビデオストリームをリアルタイムに生成します。これは従来のビデオ生成モデルのレイテンシーと長さのボトルネックを解消するもので、通常5-10秒のクリップを10秒以上のレイテンシーで生成します。このモデルの全体的な効率は、革新的なCUDAメガカーネルの最適化とドリフト防止トレーニング技術によって100倍以上向上しています。
パワフルなリアルタイム・インタラクティビティMirageLSDはリアルタイムダイナミックレスポンスに対応しており、ビデオ生成プロセス中にコンテンツを動的に調整することが可能で、常にクリエイティブなアイデアと一致した出力を保証します。高い柔軟性と制御性により、MirageLSDはクリエイティブなコンテンツ制作において大きな可能性を発揮します。ユーザーは、ジェスチャーコントロールのような簡単なインタラクションによって、ビデオのルック、シーン、または衣服をリアルタイムで変更することができます。

MirageLSDのアプリケーションシナリオ

MirageLSDの活用シーンとしては、ライブ中継やビデオ通話など、通常のビデオ通話やライブ中継のコンテンツを、ユーザが指定したシナリオにリアルタイムに変換。ゲーム開発では、ゲーム画面をリアルタイムに異なる映像スタイルに変換する。例えば、通常の戦闘シーンをライトセーバーの決闘に変えることができる。アニメーション制作やバーチャルドレッシングで、視覚効果をリアルタイムでサポートする。