AIパーソナル・ラーニング
と実践的なガイダンス
ビーンバッグ・マースコード1

Hunyuan3D-2: テンセントのオープンソース高解像度3Dモデル生成ツール

はじめに

Hunyuan3D-2はTencentによって開発されたオープンソースプロジェクトで、テキストや画像から高解像度の3Dモデルを生成することを目的としている。形状生成モデル(Hunyuan3D-DiT)とテクスチャ生成モデル(Hunyuan3D-Paint)の2つのコアコンポーネントで構成されています。ユーザーは、テキスト説明を入力したり、画像をアップロードして、詳細なテクスチャを持つ3Dデジタル資産を生成することができます。このツールはGitHubでコードと事前学習済みモデルを自由に利用でき、最新バージョンは2025年3月18日に更新された。Hunyuan3D-2は、ゲーム開発、デジタルアート、研究などで幅広く利用されている。

Hunyuan3D-2: テンセントオープンソース高解像度3Dモデル生成ツール-1


 

機能一覧

  • テキストからの3Dモデル生成をサポートし、ユーザーは説明を入力して対応するジオメトリを生成できます。
  • 画像からの3Dモデル生成や、画像アップロード後のテクスチャ付き3Dアセット生成をサポート。
  • 鮮明なモデルディテールと鮮やかなテクスチャーカラーで高解像度出力を提供します。
  • 形状生成モデル(Hunyuan3D-DiT)が含まれており、基礎となるジオメトリの生成を担当する。
  • モデルに高解像度のテクスチャを追加するためのテクスチャ生成モデル(Hunyuan3D-Paint)が含まれています。
  • マルチビュー生成(Hunyuan3D-2mv)をサポートし、複数の視点からモデルを最適化します。
  • このモデルのミニバージョン(Hunyuan3D-2mini)が提供され、パラメータはわずか0.6億で、より高速に動作する。
  • 高速版モデル(Fast)をサポートし、推論時間を半減させ、より効率的に。
  • Blenderを統合し、プラグインを通して直接3Dモデルを生成・編集することができます。
  • ユーザーが自由にダウンロードして変更できるオープンソースのコードとモデル。

 

ヘルプの使用

Hunyuan3D-2は、いくつかのハードウェアとプログラミングの基礎を必要とする強力なツールです。以下は、ユーザーがすぐに使い始められるように、詳しいインストールと使用ガイドです。

設置プロセス

  1. ハードウェアおよびソフトウェア環境の準備
    • CUDAをサポートするNVIDIA GPUと、最低6GB(ミニ)または12GB(スタンダード)のビデオメモリが必要です。
    • Python 3.9以降をインストールする。
    • コードをダウンロードするためにGitをインストールする。
  2. コードとモデルのダウンロード
    • ターミナルで実行:
      git clone https://github.com/Tencent/Hunyuan3D-2.git
      cd Hunyuan3D-2
      
    • Hugging Faceから訓練済みモデルをダウンロードする:
      huggingface-cli download tencent/Hunyuan3D-2 --local-dir ./ウェイト
      
  3. 依存関係のインストール
    • 基本的な依存関係をインストールします:
      pip install -r requirements.txt
      
    • テクスチャ生成用の追加モジュールをインストールします:
      cd hy3dgen/texgen/custom_rasterizer
      python3 setup.py install
      cd .../.../...
      cd hy3dgen/texgen/differentiable_renderer
      python3 setup.py install
      
    • オプションでフラッシュ・アテンション・アクセラレーションをインストール可能:
      pip install ninja
      pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
      
  4. インストールの確認
    • サンプルコードを実行します:
      python minimal_demo.py
      
    • モデルが正常にエクスポートされれば、インストールは完了です。

主な機能

1.画像からの3Dモデル生成

  • 動く::
    • 写真を用意する(例 デモ.png)に置かれている。 資産 フォルダー
    • ベース形状を生成する:
      from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
      from PIL import Image
      pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
      image = Image.open('assets/demo.png')
      mesh = pipeline(image=image, num_inference_steps=30)[0].
      mesh.export('output.glb')
      
    • テクスチャーを加える:
      from hy3dgen.texgen import Hunyuan3DPaintPipeline
      pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
      mesh = pipeline(mesh, image=image)
      mesh.export('textured.glb')
      
  • 結局テクスチャを含む3Dモデルを生成し、次のように保存します。 .glb ドキュメンテーション

2.テキストから3Dモデルを生成する

  • 動く::
    • text-to-imageモジュール(HunyuanDiT)をインストールする:
      huggingface-cli ダウンロード Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir ./weights/hunyuanDiT
      
    • コードを実行する:
      from hy3dgen.text2image import HunyuanDiTPipeline
      from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
      t2i = HunyuanDiTPipeline('Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled')
      i23d = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
      image = t2i('かわいいウサギ')
      mesh = i23d(image, num_inference_steps=30)[0].
      mesh.export('rabbit.glb')
      
  • 結局テキストから3Dモデルを生成します。

3.グラディオのインターフェースを使う

  • 動く::
    • Gradioアプリケーションを実行する:
      python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2
      
    • ブラウザを開き、プロンプトが表示されたローカルアドレスにアクセスする。
    • 画像をアップロードするか、テキストを入力し、[生成]をクリックします。
  • 結局コードを書くことなく、Webインターフェイスからモデルを生成できます。

4.APIサービスの利用

  • 動く::
    • APIサーバーを起動する:
      python api_server.py --host 0.0.0.0 --port 8080
      
    • モデル生成のリクエストを送信する:
      img_b64_str=$(base64 -i assets/demo.png)
      curl -X POST "http://localhost:8080/generate" ¦H "Content-Type: application/json
      -H "Content-Type: application/json"  \ -d '{"image: "'"1TP4_demo_png"。
      -d '{"image": "'"$img_b64_str"'"}' ¦ -o test.glbpg
      -o test.glb
      
  • 結局API経由で3Dモデルを生成します。

5.Blenderプラグインの使用

  • 取り付け::
    • ダウンロード blender_addon.py ドキュメンテーション
    • Blenderを開き、Edit > Preferences > Pluginsからインストールして有効にします。
  • リグ::
    • APIサーバーを起動する(上記参照)。
    • Blenderのサイドバーで "Hunyuan3D-2 "を見つけてください。
    • テキストを入力するか、画像をアップロードして「生成」をクリックします。
  • 結局Blenderで直接モデルを生成・編集できます。

注目の機能操作

マルチビュー生成(Hunyuan3D-2mv)

  • コマンドを使う:
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mv', subfolder='hunyuan3d-dit-v2-mv')
mesh = pipeline(image=Image.open('assets/demo.png'))[0].
mesh.export('mv_model.glb')
  • 複数のアングルからの正確なモデリングが必要なシーンに最適。

ラピッドジェネレーション(Hunyuan3D-2mini)

  • コマンドを使う:
pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mini', subfolder='hunyuan3d-dit-v2-mini')
mesh = pipeline(image=Image.open('assets/demo.png'))[0].
mesh.export('mini_model.glb')
  • 高速で、構成の少ないデバイスに適している。

ほら

  • ランタイムエラーを避けるために、GPUドライバがCUDAバージョンと互換性があることを確認してください。
  • アダプト num_inference_steps(推論ステップ数 パラメータを最適化することで、発電品質を向上させることができる。
  • 問題があれば、GitHub IssuesかDiscord (https://discord.gg/dNBrdrGGMa)で助けを求めてください。

 

アプリケーションシナリオ

  1. ゲーム開発
    開発者はこれを使用して、ゲーム内のキャラクターや小道具のモデルを素早く生成し、手作業によるモデリング時間を短縮することができます。
  2. デジタルアート
    アーティストがテキストや画像から3Dアートワークを生成し、クリエイティブやNFTの制作に使用する。
  3. プロダクトデザイン
    デザイナーは製品画像をアップロードし、プロトタイプの展示やテスト用の3Dモデルを生成します。
  4. 教育研究
    学生や研究者は、AIが生成する3Dのテクニックを探求したり、拡散モデルを検証したりするために利用している。

 

品質保証

  1. 最低限必要なハードウェアは何ですか?
    Miniには6GB、Standardには12GBのビデオメモリが必要で、NVIDIA GPUが推奨されている。
  2. 市販されていますか?
    オープンソース版は非商用利用のみで、商用利用についてはまでご連絡ください。
  3. モデルの生成にはどのくらい時間がかかりますか?
    ハードウェアや設定によって異なるが、高速バージョンで約30秒、標準バージョンで1~2分。
無断転載を禁じます:チーフAIシェアリングサークル " Hunyuan3D-2: テンセントのオープンソース高解像度3Dモデル生成ツール

チーフAIシェアリングサークル

チーフAIシェアリングサークルは、AI学習に焦点を当て、包括的なAI学習コンテンツ、AIツール、実践指導を提供しています。私たちの目標は、高品質のコンテンツと実践的な経験の共有を通じて、ユーザーがAI技術を習得し、AIの無限の可能性を一緒に探求することです。AI初心者でも上級者でも、知識を得てスキルを向上させ、イノベーションを実現するための理想的な場所です。

お問い合わせ
ja日本語