はじめに
TripoSRは、Tripo AIとStability AIが共同開発したオープンソースモデルで、1枚の画像から高品質な3Dモデルを高速生成するように設計されています。このモデルはLarge Reconstruction Model (LRM)アーキテクチャをベースとしており、0.5秒未満で3Dメッシュを生成することができます。TripoSRは、一般に公開されている複数のデータセットにおいて、他のオープンソースの代替モデルを凌ぐ性能を発揮し、エンターテインメント、ゲーム、工業デザイン、建築など、幅広い分野でスピードと品質を提供しています。
現地での展開に加え、TRIPOの公式ウェブサイトでは、無制限のドラフト生成、月10回の高品質なテキストから3D、画像から3Dへのクレジットが利用できる。
-
TripoSR公式サイト
-
TripoSR あらかじめ選択された4つの3Dモデルを生成する
-
TripoSRの生成例
機能一覧
- 高速3D再構成1枚の画像からわずか0.5秒で高品質な3Dモデルを生成します。
- 高品質出力高い解像度とディテールを持つ3Dモデルを生成します。
- オープンソース研究者や開発者の便宜のために、完全なソースコードと訓練済みモデルが提供されています。
- マルチプラットフォーム対応GPUとCPUをサポートし、異なるハードウェア環境に対応。
- オンラインデモオンライン・デモ機能により、ユーザーはモデルのパワーを直接体験することができます。
ヘルプの使用
設置プロセス
- 環境準備::
- Python 3.8以降がインストールされていることを確認してください。
- CUDAをインストールする（利用可能な場合）。
- PyTorchをインストールし、ローカルにインストールされているCUDAのバージョンがPyTorchのバージョンと一致していることを確認する。
- コードベースのクローン::
git clone https://github.com/VAST-AI-Research/TripoSR.git cd TripoSR - 依存関係のインストール::
pip install -r requirements.txt
使用プロセス
- 実行例::
python run.py examples/chair.png --output-dir output/これは、再構築された3Dモデルを
出力カタログ - グラディオ・ネイティブ・アプリケーション::
python gradio_app.pyローカルのGradioアプリケーションを起動すると、ユーザーはウェブ・インターフェイスを通じて画像をアップロードし、3Dモデルを生成できる。
詳細な手順
- 画像の前処理::
- 入力画像をNumPyの配列に加工する。
- 特徴量は画像エンコーダーを使って抽出される。
- 3D再構成::
- 抽出された特徴は、3プレーンデコーダーに画像に入力される。
- 3平面神経放射場を用いた色と濃度の予測。
- 出力生成::
- 生成された3Dメッシュは様々な形式で保存でき、その後の使用や編集が容易です。
一般的な問題
- CUDAエラーCUDA関連のエラーが発生した場合は、ローカルにインストールされているCUDAのバージョンとPyTorchのバージョンが一致していることを確認してください。
- 依存関係のインストールに失敗しました。を最新バージョンにしてください。
セットアップツールそしてpip install --upgrade setuptoolsアップグレードを行う。
