はじめに
Hunyuan3D-2はTencentによって開発されたオープンソースプロジェクトで、テキストや画像から高解像度の3Dモデルを生成することを目的としている。形状生成モデル(Hunyuan3D-DiT)とテクスチャ生成モデル(Hunyuan3D-Paint)の2つのコアコンポーネントで構成されています。ユーザーは、テキスト説明を入力したり、画像をアップロードして、詳細なテクスチャを持つ3Dデジタル資産を生成することができます。このツールはGitHubでコードと事前学習済みモデルを自由に利用でき、最新バージョンは2025年3月18日に更新された。Hunyuan3D-2は、ゲーム開発、デジタルアート、研究などで幅広く利用されている。
機能一覧
- テキストからの3Dモデル生成をサポートし、ユーザーは説明を入力して対応するジオメトリを生成できます。
- 画像からの3Dモデル生成や、画像アップロード後のテクスチャ付き3Dアセット生成をサポート。
- 鮮明なモデルディテールと鮮やかなテクスチャーカラーで高解像度出力を提供します。
- 形状生成モデル(Hunyuan3D-DiT)が含まれており、基礎となるジオメトリの生成を担当する。
- モデルに高解像度のテクスチャを追加するためのテクスチャ生成モデル(Hunyuan3D-Paint)が含まれています。
- マルチビュー生成(Hunyuan3D-2mv)をサポートし、複数の視点からモデルを最適化します。
- このモデルのミニバージョン(Hunyuan3D-2mini)が提供され、パラメータはわずか0.6億で、より高速に動作する。
- 高速版モデル(Fast)をサポートし、推論時間を半減させ、より効率的に。
- Blenderを統合し、プラグインを通して直接3Dモデルを生成・編集することができます。
- ユーザーが自由にダウンロードして変更できるオープンソースのコードとモデル。
ヘルプの使用
Hunyuan3D-2は、いくつかのハードウェアとプログラミングの基礎を必要とする強力なツールです。以下は、ユーザーがすぐに使い始められるように、詳しいインストールと使用ガイドです。
設置プロセス
- ハードウェアおよびソフトウェア環境の準備
- CUDAをサポートするNVIDIA GPUと、最低6GB(ミニ)または12GB(スタンダード)のビデオメモリが必要です。
- Python 3.9以降をインストールする。
- コードをダウンロードするためにGitをインストールする。
- コードとモデルのダウンロード
- ターミナルで実行:
git clone https://github.com/Tencent/Hunyuan3D-2.git cd Hunyuan3D-2
- Hugging Faceから訓練済みモデルをダウンロードする:
huggingface-cli download tencent/Hunyuan3D-2 --local-dir ./ウェイト
- ターミナルで実行:
- 依存関係のインストール
- 基本的な依存関係をインストールします:
pip install -r requirements.txt
- テクスチャ生成用の追加モジュールをインストールします:
cd hy3dgen/texgen/custom_rasterizer python3 setup.py install cd .../.../... cd hy3dgen/texgen/differentiable_renderer python3 setup.py install
- オプションでフラッシュ・アテンション・アクセラレーションをインストール可能:
pip install ninja pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
- 基本的な依存関係をインストールします:
- インストールの確認
- サンプルコードを実行します:
python minimal_demo.py
- モデルが正常にエクスポートされれば、インストールは完了です。
- サンプルコードを実行します:
主な機能
1.画像からの3Dモデル生成
- 動く::
- 写真を用意する(例
デモ.png
)に置かれている。資産
フォルダー - ベース形状を生成する:
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline from PIL import Image pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2') image = Image.open('assets/demo.png') mesh = pipeline(image=image, num_inference_steps=30)[0]. mesh.export('output.glb')
- テクスチャーを加える:
from hy3dgen.texgen import Hunyuan3DPaintPipeline pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2') mesh = pipeline(mesh, image=image) mesh.export('textured.glb')
- 写真を用意する(例
- 結局テクスチャを含む3Dモデルを生成し、次のように保存します。
.glb
ドキュメンテーション
2.テキストから3Dモデルを生成する
- 動く::
- text-to-imageモジュール(HunyuanDiT)をインストールする:
huggingface-cli ダウンロード Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir ./weights/hunyuanDiT
- コードを実行する:
from hy3dgen.text2image import HunyuanDiTPipeline from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline t2i = HunyuanDiTPipeline('Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled') i23d = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2') image = t2i('かわいいウサギ') mesh = i23d(image, num_inference_steps=30)[0]. mesh.export('rabbit.glb')
- text-to-imageモジュール(HunyuanDiT)をインストールする:
- 結局テキストから3Dモデルを生成します。
3.グラディオのインターフェースを使う
- 動く::
- Gradioアプリケーションを実行する:
python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2
- ブラウザを開き、プロンプトが表示されたローカルアドレスにアクセスする。
- 画像をアップロードするか、テキストを入力し、[生成]をクリックします。
- Gradioアプリケーションを実行する:
- 結局コードを書くことなく、Webインターフェイスからモデルを生成できます。
4.APIサービスの利用
- 動く::
- APIサーバーを起動する:
python api_server.py --host 0.0.0.0 --port 8080
- モデル生成のリクエストを送信する:
img_b64_str=$(base64 -i assets/demo.png) curl -X POST "http://localhost:8080/generate" ¦H "Content-Type: application/json -H "Content-Type: application/json" \ -d '{"image: "'"1TP4_demo_png"。 -d '{"image": "'"$img_b64_str"'"}' ¦ -o test.glbpg -o test.glb
- APIサーバーを起動する:
- 結局API経由で3Dモデルを生成します。
5.Blenderプラグインの使用
- 取り付け::
- ダウンロード
blender_addon.py
ドキュメンテーション - Blenderを開き、Edit > Preferences > Pluginsからインストールして有効にします。
- ダウンロード
- リグ::
- APIサーバーを起動する(上記参照)。
- Blenderのサイドバーで "Hunyuan3D-2 "を見つけてください。
- テキストを入力するか、画像をアップロードして「生成」をクリックします。
- 結局Blenderで直接モデルを生成・編集できます。
注目の機能操作
マルチビュー生成(Hunyuan3D-2mv)
- コマンドを使う:
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mv', subfolder='hunyuan3d-dit-v2-mv')
mesh = pipeline(image=Image.open('assets/demo.png'))[0].
mesh.export('mv_model.glb')
- 複数のアングルからの正確なモデリングが必要なシーンに最適。
ラピッドジェネレーション(Hunyuan3D-2mini)
- コマンドを使う:
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mini', subfolder='hunyuan3d-dit-v2-mini')
mesh = pipeline(image=Image.open('assets/demo.png'))[0].
mesh.export('mini_model.glb')
- 高速で、構成の少ないデバイスに適している。
ほら
- ランタイムエラーを避けるために、GPUドライバがCUDAバージョンと互換性があることを確認してください。
- アダプト
num_inference_steps(推論ステップ数
パラメータを最適化することで、発電品質を向上させることができる。 - 問題があれば、GitHub IssuesかDiscord (https://discord.gg/dNBrdrGGMa)で助けを求めてください。
アプリケーションシナリオ
- ゲーム開発
開発者はこれを使用して、ゲーム内のキャラクターや小道具のモデルを素早く生成し、手作業によるモデリング時間を短縮することができます。 - デジタルアート
アーティストがテキストや画像から3Dアートワークを生成し、クリエイティブやNFTの制作に使用する。 - プロダクトデザイン
デザイナーは製品画像をアップロードし、プロトタイプの展示やテスト用の3Dモデルを生成します。 - 教育研究
学生や研究者は、AIが生成する3Dのテクニックを探求したり、拡散モデルを検証したりするために利用している。
品質保証
- 最低限必要なハードウェアは何ですか?
Miniには6GB、Standardには12GBのビデオメモリが必要で、NVIDIA GPUが推奨されている。 - 市販されていますか?
オープンソース版は非商用利用のみで、商用利用についてはまでご連絡ください。 - モデルの生成にはどのくらい時間がかかりますか?
ハードウェアや設定によって異なるが、高速バージョンで約30秒、標準バージョンで1~2分。