ペルソナライブ - マカオ大学をはじめとするオープンソースのリアルタイムAI似顔絵アニメーション生成ライブフレームワーク

18.7K 00

ペルソナライブとは何ですか？

ペルソナライブは、マカオ大学によるオープンソースのリアルタイムAI顔交換ライブストリーミングフレームワークである、dzine.aiグレーターベイエリア大学GVCラボと共同開発。平均的なコンシューマーグレードのグラフィックカード（12GBのビデオメモリ）で低レイテンシー、高フレームレートのデジタル人体駆動が可能で、カメラを通して静止画中のキャラクターの表情や動きのリアルタイム制御をサポート。コア技術には、ハイブリッド・モーション・コントロール、ステップレス・アピアランス・ディスティレーション、マイクロブロック・ストリーミング生成が含まれ、推論速度が大幅に向上（レイテンシは100ms以下）し、バーチャル・キャスターやショートビデオ作成などのシナリオに適している。

ペルソナライブの特徴

リアルタイム＆効率的12GBのグラフィックス・メモリGPUを1つ搭載するだけで、1フレームあたりのレイテンシが40～50msという、低レイテンシと高品質を両立した、リアルタイムでストリーミング可能な、長さ無制限のポートレート・アニメーションを実現できます。
低資源消費ハードウェアの要件が高くないので、あまり設定されていない機器でもスムーズに動作し、敷居が低い。
高品質のアニメーション生成生成されるアニメーションはクオリティが高く、キャラクターのルックスも長時間崩れたり型崩れすることなく安定している。
幅広いアプリケーション・シナリオライブ放送、ショートビデオ制作、アニメーション制作、バーチャルアンカー、顔文字模写、ロールプレイング、ソーシャルエンターテイメント、製品デモンストレーション、教育訓練、広告、マーケティングなどのシーンに適しています。
革新的な技術アーキテクチャ混合モーション信号、ステップレス・アピアランス蒸留ストラテジー、自己回帰的マイクロブロック・フロー生成パラダイムなどの革新的な技術により、性能と有効性を向上させた6つのよく設計されたニューラルネットワーク・コンポーネントが含まれています。
ユーザビリティ環境設定、ウェイトのダウンロード、オフラインおよびオンライン推論などの手順を含む、詳細な使用方法とドキュメントが提供されているため、ユーザーはすぐに使い始めることができます。
オープンソースオープンソースプロジェクトとして、ユーザーは二次開発やカスタマイズのためにコードを自由にダウンロード、使用、変更することができます。

ペルソナライブの強み

リアルタイムで低遅延1フレームあたり40～50msという超低遅延で、長さ無制限のポートレートアニメーションをリアルタイムに生成できるため、ライブ放送やリアルタイムインタラクションなど、リアルタイム性が強く求められるシーンに適しています。
低いハードウェア要件12GBのビデオメモリを搭載したGPUが1つあれば動作するため、ハードウェアの敷居が低くなり、一般的なデバイスでより多くのユーザーが利用できるようになる。
高い品質と安定性生成されるアニメーションはクオリティが高く、キャラクターは長時間動いても崩れたり型崩れすることなく安定しています。
革新的技術アーキテクチャ混合モーション信号、ステップレス・アピアランス蒸留戦略、自己回帰的マイクロブロック・フロー生成パラダイムなどの革新的な技術は、生成効率と有効性を高めるために使用される。

ペルソナライブ公式サイト

GitHubリポジトリ:: https://github.com/GVCLab/PersonaLive
HuggingFaceモデルライブラリ:: https://huggingface.co/huaichang/PersonaLive
arXivテクニカルペーパー:: https://arxiv.org/pdf/2512.11253

ペルソナライブの対象者

コンテンツクリエーターショートビデオの制作者やライブキャスターなど、高品質なアニメーションコンテンツを素早く生成する必要があるクリエイターに適しており、バーチャルイメージをリアルタイムで制御して、コンテンツの面白さやインタラクティブ性を高めることができる。
アニメーション・映画関係者アニメーション制作の補助ツールとして使用でき、アニメーションのプロトタイプや特殊効果を素早く生成し、制作効率を向上させ、アニメーションスタジオ、映画やテレビの特殊効果チームなどに適用できる。
仮想イメージ開発者バーチャルアンカー、バーチャルアイドル、その他のバーチャルイメージ関連プロジェクトの開発に適しています。
教育者教育機関やオンライン教育プラットフォームに適しています。
ゲーム開発者ゲーム内のキャラクターアニメーションを生成し、ゲーム開発チームの視覚効果やインタラクティブ体験を向上させることができます。
広告・マーケティング・スタッフ広告アニメーションを作成し、仮想イメージで製品やサービスを表示し、ユーザーの注目を集め、広告効果を高めることができ、広告代理店やマーケティングチームに適しています。