TRELLIS：複数のフォーマットをサポートし、柔軟な編集が可能なマイクロソフト開発の3Dアセット生成モデル

はじめに

TRELLISは、Microsoftによって開発された大規模な3Dアセット生成モデルです。TRELLISの中核にあるのは、統一された構造化潜在変数（SLAT）表現であり、これによってさまざまな出力フォーマットにデコードすることができ、SLATのために特別に設計された整流器-フロー変換器の堅牢性に支えられています。500,000の多様なオブジェクトを含む大規模な3Dアセットデータセットで事前にトレーニングされたこのモデルは、既存の手法を大幅に上回り、柔軟な出力フォーマットの選択とネイティブな3D編集機能を実証しています。

機能一覧

• 高品質生成：複雑な形状やテクスチャの詳細を持つ多様な3Dアセットを生成します。
• 多用途性：テキストまたは画像プロンプトを受信して、放射状フィールド、3Dガウシアン、メッシュを含むさまざまな3D表現を生成します。
• 柔軟な編集: 同じオブジェクトのバリアントを生成したり、3Dアセットのローカル編集を行うなど、生成された3Dアセットの編集が簡単に行えます。

ヘルプの使用

設置プロセス

1. 前提条件::
   • 他のプラットフォームではテストされていません。
   • 依存関係の管理にはCondaを推奨する。
   • Python 3.8以上が必要。
   • 16GB以上のRAMを搭載したNVIDIA GPUが必要で、コードはNVIDIA A100およびA6000 GPUでテストされています。
   • 特定のサブモジュールをコンパイルするにはCUDAツールキットが必要で、コードはCUDA 11.8と12.2でテストされています。
2. インストール手順::
   • リポジトリをクローンする

     git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
     cd TRELLIS
     

   • 依存関係をインストールします：

     . ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
     

使用プロセス

1. 訓練済みモデルの読み込み::

   from trellis.pipelines import TrellisImageTo3DPipeline
   pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
   パイプライン.cuda()
   

2. イメージをロードし、パイプラインを実行する::

   from PIL import Image
   image = Image.open("assets/example_image/T.png")
   出力 = pipeline.run(image, seed=1)
   

3. 描画出力::

   from trellis.utils import render_utils
   video = render_utils.render_video(outputs['gaussian'][0])['color'].
   

4. 結果を保存::

   インポート imageio
   imageio.mimsave("sample_gs.mp4", video, fps=30)