TripoSR: 高速単一画像3D再構成モデル、オープンソーステキストから3Dモデリング|画像から3Dモデリング

はじめに

TripoSRは、Tripo AIとStability AIが共同開発したオープンソースモデルで、1枚の画像から高品質な3Dモデルを高速生成するように設計されています。このモデルはLarge Reconstruction Model (LRM)アーキテクチャをベースとしており、0.5秒未満で3Dメッシュを生成することができます。TripoSRは、一般に公開されている複数のデータセットにおいて、他のオープンソースの代替モデルを凌ぐ性能を発揮し、エンターテインメント、ゲーム、工業デザイン、建築など、幅広い分野でスピードと品質を提供しています。

現地での展開に加え、TRIPOの公式ウェブサイトでは、無制限のドラフト生成、月10回の高品質なテキストから3D、画像から3Dへのクレジットが利用できる。

TripoSR公式サイト

TripoSR あらかじめ選択された4つの3Dモデルを生成する

 

TripoSRの生成例

機能一覧

• 高速3D再構成1枚の画像からわずか0.5秒で高品質な3Dモデルを生成します。
• 高品質出力高い解像度とディテールを持つ3Dモデルを生成します。
• オープンソース研究者や開発者の便宜のために、完全なソースコードと訓練済みモデルが提供されています。
• マルチプラットフォーム対応GPUとCPUをサポートし、異なるハードウェア環境に対応。
• オンラインデモオンライン・デモ機能により、ユーザーはモデルのパワーを直接体験することができます。

ヘルプの使用

設置プロセス

1. 環境準備::
   • Python 3.8以降がインストールされていることを確認してください。
   • CUDAをインストールする（利用可能な場合）。
   • PyTorchをインストールし、ローカルにインストールされているCUDAのバージョンがPyTorchのバージョンと一致していることを確認する。
2. コードベースのクローン::

   git clone https://github.com/VAST-AI-Research/TripoSR.git
   cd TripoSR

3. 依存関係のインストール::

   pip install -r requirements.txt

使用プロセス

1. 実行例::

   python run.py examples/chair.png --output-dir output/

   これは、再構築された3Dモデルを出力カタログ

2. グラディオ・ネイティブ・アプリケーション::

   python gradio_app.py

   ローカルのGradioアプリケーションを起動すると、ユーザーはウェブ・インターフェイスを通じて画像をアップロードし、3Dモデルを生成できる。

詳細な手順

1. 画像の前処理::
   • 入力画像をNumPyの配列に加工する。
   • 特徴量は画像エンコーダーを使って抽出される。
2. 3D再構成::
   • 抽出された特徴は、3プレーンデコーダーに画像に入力される。
   • 3平面神経放射場を用いた色と濃度の予測。
3. 出力生成::
   • 生成された3Dメッシュは様々な形式で保存でき、その後の使用や編集が容易です。

一般的な問題

• CUDAエラーCUDA関連のエラーが発生した場合は、ローカルにインストールされているCUDAのバージョンとPyTorchのバージョンが一致していることを確認してください。
• 依存関係のインストールに失敗しました。を最新バージョンにしてください。セットアップツールそしてpip install --upgrade setuptoolsアップグレードを行う。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る