Mixed World Model 1.5 - Tencent Mixedオープンソースリアルタイム世界モデル生成フレームワーク

ハイブリッド・ワールド・モデル1.5とは

Hybrid WorldPlay 1.5（Tencent HY WorldPlay）は、Tencentがリリースした業界初のオープンソースのリアルタイム世界モデリングフレームワークであり、データ、トレーニング、ストリーミング推論の展開のチェーン全体をカバーしている。コアとなるのはWorldPlayの自己回帰拡散モデルで、Next-Frames-Predictionタスクを使って学習され、リアルタイム性と幾何学的整合性の問題を解決している。リアルタイムのインタラクション生成は、独自のContext Forcing蒸留スキームとストリーミング推論の最適化により、720PのHDビデオを毎秒24フレームで生成することができます。長距離3D一貫性は、再構成されたメモリメカニズムの助けを借りて、分レベルのコンテンツの幾何学的一貫性の生成をサポートします。

ハイブリッド・ワールド・モデル1.5の機能的特徴

• リアルタイム・インタラクション生成機能独自の「文脈整合蒸留」スキームとストリーミング推論の最適化により、このモデルは720pのHDビデオストリームを毎秒24フレームでリアルタイムに生成することができ、スムーズなインタラクションを保証し、ユーザーがリアルタイムで視点や環境を操作することを可能にする。
• 長距離3D一貫性このモデルは、再構成メモリ機構（RMM）により、高度な幾何学的整合性を保ちながら、微細なレベルまで映像コンテンツの生成をサポートすることができ、高品質な3D空間シミュレータを構築するための基礎を築く。
• 多様なインタラクティブ体験説明文や写真を入力するだけで、専用の3Dインタラクティブ世界を素早く生成することができます。キーボードやマウス、ジョイスティックを使って、ゲームキャラクターを操作するように視点移動やステアリングを自由にコントロールし、AIが生成した環境を没入感たっぷりに探索することができます。
• オープンソースのフルリンク・フレームワークデータ、トレーニング、推論展開のチェーンとリンク全体をカバーし、開発者に完全な開発と展開プロセスを提供します。
• 高品質のデータ収集Mixed Metaチームによって構築された自動化された3Dシーンレンダリングプロセスは、大量の高品質な実世界のレンダリングデータへのアクセスを可能にし、コアアルゴリズムの可能性をさらに高めます。

ハイブリッド・ワールド・モデル1.5の主な利点

• リアルタイムと流暢さ720pのHDビデオストリームを毎秒24フレームでリアルタイムに生成できるため、スムーズで瞬時のユーザーインタラクションが可能になります。
• 長期的な一貫性3Dコンテンツ生成を微細なレベルまでサポートし、複雑なシーンを長時間生成するための高度な幾何学的一貫性を維持します。
• 多彩な交流複数の入力方法（テキスト、画像）とインタラクションモード（一人称、三人称）をサポートし、没入型の3D探索体験を提供します。
• オープンソースとフルリンクのサポートデータ、トレーニング、推論などを網羅した完全なトレーニング＆デプロイメントシステムを初めてオープンソース化し、開発者に強力な技術サポートを提供する。
• 質の高いデータ主導3Dシーンのレンダリングプロセスを自動化することで高品質なデータを取得し、モデル生成と一般化の品質をさらに向上させます。
• 革新的なトレーニング・フレームワークコンテキストに沿った蒸留技術と3D報酬強化学習フレームワークを用いて、生成コンテンツの視覚的品質と幾何学的一貫性を高める。

ハイブリッド・ワールド・モデル1.5の公式ウェブサイトは？

• プロジェクトのウェブサイト:: https://3d-models.hunyuan.tencent.com/world/
• GitHubリポジトリ:: https://github.com/Tencent-Hunyuan/HY-WorldPlay
• HuggingFaceモデルライブラリ:: https://huggingface.co/tencent/HY-WorldPlay
• 技術論文:: https://3d-models.hunyuan.tencent.com/world/world1_5/HYWorld_1.5_Tech_Report.pdf

ハイブリッド・ワールド・モデル1.5の人々

• ゲーム開発者ゲームシーンやコンテンツを迅速に生成し、開発コストを削減し、開発効率を向上させることができます。
• VFXチーム高品質な3Dシーンやアニメーションをリアルタイムで生成できるため、映画やテレビの特殊効果制作において、より効率的なコンテンツ生成ツールを提供し、制作プロセスを加速させる。
• 仮想現実（VR）および拡張現実（AR）開発者VR/ARアプリケーション開発のための没入型3Dインタラクティブ体験をサポートし、よりリアルで流動的な仮想環境をユーザーに提供します。
• 人工知能研究者オープンソースでリンクワイドなフレームワークと高品質なデータセットは、研究者に豊富な研究リソースを提供し、関連分野の研究とイノベーションを促進します。
• コンテンツクリエーター例えば、ビデオブロガーやアニメーターなどは、簡単なテキストや画像を入力するだけで、クリエイティブなコンテンツを素早く生成することができ、コンテンツ制作の多様性と効率性を高めることができます。
• 教育者と学生没入型の教育・学習シナリオを作成し、学習の楽しさと双方向性を高め、生徒が実践し探求するためのプラットフォームを提供するために使用することができます。