Hunyuan3D-2: Tencent Open-Source-Tool zur Erzeugung hochauflösender 3D-Modelle

Allgemeine Einführung

Hunyuan3D-2 ist ein von Tencent entwickeltes Open-Source-Projekt, das darauf abzielt, hochauflösende 3D-Modelle aus Text oder Bildern zu erzeugen. Es besteht aus zwei Kernkomponenten: einem Modell zur Formerzeugung (Hunyuan3D-DiT) und einem Modell zur Texturerzeugung (Hunyuan3D-Paint). Benutzer können Textbeschreibungen eingeben oder Bilder hochladen, um digitale 3D-Assets mit detaillierten Texturen zu erzeugen. Das Tool ist auf GitHub mit Code und vortrainierten Modellen frei verfügbar, und die neueste Version wurde am 18. März 2025 aktualisiert. Es unterstützt mehrere Modelle, darunter eine schnelle Version und eine Mini-Version für verschiedene Geräte.Hunyuan3D-2 wird häufig in der Spieleentwicklung, digitalen Kunst und Forschung verwendet.

Funktionsliste

• Unterstützung für die Erzeugung von 3D-Modellen aus Text, Benutzer können eine Beschreibung eingeben, um die entsprechende Geometrie zu erzeugen.
• Unterstützung für die Erzeugung von 3D-Modellen aus Bildern und die Erzeugung von 3D-Assets mit Texturen nach dem Hochladen von Bildern.
• Bietet eine hochauflösende Ausgabe mit gestochen scharfen Modelldetails und lebendigen Texturfarben.
• Enthält das Formerzeugungsmodell (Hunyuan3D-DiT), das für die Erzeugung der zugrunde liegenden Geometrie zuständig ist.
• Enthält ein Modell zur Texturerzeugung (Hunyuan3D-Paint), um dem Modell hochauflösende Texturen hinzuzufügen.
• Unterstützung der Erzeugung mehrerer Ansichten (Hunyuan3D-2mv) zur Optimierung des Modells aus mehreren Perspektiven.
• Es gibt eine Mini-Version des Modells (Hunyuan3D-2mini) mit nur 0,6 Milliarden Parametern und schnellerem Betrieb.
• Unterstützt eine schnelle Version des Modells (Fast), die die Inferenzzeit halbiert und das Modell effizienter macht.
• Blender kann integriert werden, um 3D-Modelle direkt über das Plug-in zu erzeugen und zu bearbeiten.
• Open-Source-Code und -Modelle, die von den Benutzern frei heruntergeladen und geändert werden können.

Hilfe verwenden

Hunyuan3D-2 ist ein leistungsfähiges Werkzeug, das einige Hardware- und Programmiergrundlagen erfordert. Nachfolgend finden Sie eine ausführliche Installations- und Gebrauchsanleitung, die den Benutzern einen schnellen Einstieg ermöglicht.

Ablauf der Installation

1. Vorbereitung von Hardware- und Software-Umgebungen
   • Erfordert einen NVIDIA-Grafikprozessor mit CUDA-Unterstützung und mindestens 6 GB (Mini) oder 12 GB (Standard) Videospeicher.
   • Installieren Sie Python 3.9 oder höher.
   • Installieren Sie Git zum Herunterladen von Code.
2. Code und Modelle herunterladen
   • Läuft im Terminal:

     git clone https://github.com/Tencent/Hunyuan3D-2.git
     cd Hunyuan3D-2
     

   • Laden Sie das vortrainierte Modell von Hugging Face herunter:

     huggingface-cli download tencent/Hunyuan3D-2 --local-dir . /Gewichte
     

3. Installation von Abhängigkeiten
   • Installieren Sie grundlegende Abhängigkeiten:

     pip install -r anforderungen.txt
     

   • Installiert zusätzliche Module für die Texturerzeugung:

     cd hy3dgen/texgen/custom_rasterizer
     python3 setup.py installieren
     cd ... /... /...
     cd hy3dgen/texgen/differentiable_renderer
     python3 setup.py installieren
     

   • Optional kann Flash Attention Acceleration installiert werden:

     pip install ninja
     pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
     

4. Überprüfen der Installation
   • Führen Sie den Beispielcode aus:

     python minimal_demo.py
     

   • Wenn das Modell erfolgreich exportiert wurde, ist die Installation abgeschlossen.

Hauptfunktionen

1. die Erzeugung von 3D-Modellen aus Bildern

• umziehen::
  • Bereiten Sie ein Bild vor (z. B. demo.png), platziert in der Vermögenswerte Mappe.
  • Erzeugen Sie die Grundform:

    from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
    von PIL importieren Image
    pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
    Bild = Image.open('assets/demo.png')
    Netz = pipeline(image=image, num_inference_steps=30)[0]
    mesh.export('output.glb')
    

  • Textur hinzufügen:

    from hy3dgen.texgen import Hunyuan3DPaintPipeline
    pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
    Netz = pipeline(Netz, Bild=Bild)
    mesh.export('textured.glb')
    

• am EndeErzeugen eines 3D-Modells mit Texturen, speichern als .glb Dokumentation.

2. 3D-Modelle aus Text generieren

• umziehen::
  • Installieren Sie das Text-zu-Bild-Modul (HunyuanDiT):

    huggingface-cli download Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir . /gewichte/hunyuanDiT
    

  • Führen Sie den Code aus:

    from hy3dgen.text2image import HunyuanDiTPipeline
    von hy3dgen.shapegen importiere Hunyuan3DDiTFlowMatchingPipeline
    t2i = HunyuanDiTPipeline('Tencent-Hunyuan/HunyuanDiT-v1.1-Diffuser-Distilled')
    i23d = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
    Bild = t2i('ein süßes Kaninchen')
    Netz = i23d(Bild, num_inference_steps=30)[0]
    mesh.export('kaninchen.glb')
    

• am EndeGenerieren von 3D-Modellen aus Text.

3. über die Gradio-Schnittstelle

• umziehen::
  • Führen Sie die Gradio-Anwendung aus:

    python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2
    

  • Öffnen Sie Ihren Browser und besuchen Sie die angeforderte lokale Adresse.
  • Laden Sie ein Bild hoch oder geben Sie Text ein und klicken Sie auf Generieren.
• am EndeGenerieren von Modellen über eine Webschnittstelle, ohne Code schreiben zu müssen.

4. die Nutzung von API-Diensten

• umziehen::
  • Starten Sie den API-Server:

    python api_server.py --host 0.0.0.0 --port 8080
    

  • Senden Sie eine Anfrage zur Erstellung eines Modells:

    img_b64_str=$(base64 -i assets/demo.png)
    curl -X POST "http://localhost:8080/generate" \
    -H "Content-Type: application/json" \
    -d '{"image": "'"$img_b64_str"'"}' \
    -o test.glb
    

• am EndeGenerierung von 3D-Modellen über API.

5. die Verwendung des Blender-Plug-ins

• Montage::
  • Herunterladen von blender_addon.py Dokumentation.
  • Öffne Blender und installiere und aktiviere es unter Bearbeiten > Einstellungen > Plugins.
• Rigg::
  • Starten Sie den API-Server (siehe oben).
  • Finde "Hunyuan3D-2" in der Blender-Seitenleiste.
  • Geben Sie einen Text ein oder laden Sie ein Bild hoch und klicken Sie auf Erzeugen.
• am EndeGenerieren und Bearbeiten von Modellen direkt in Blender.

Featured Function Bedienung

Erzeugung mehrerer Ansichten (Hunyuan3D-2mv)

• Verwenden Sie den Befehl:

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mv', subfolder='hunyuan3d-dit-v2-mv')
Netz = pipeline(image=Image.open('assets/demo.png'))[0]
mesh.export('mv_model.glb')

• Ideal für Szenen, die eine genaue Modellierung aus mehreren Blickwinkeln erfordern.

Schnelle Erzeugung (Hunyuan3D-2mini)

• Verwenden Sie den Befehl:

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mini', subfolder='hunyuan3d-dit-v2-mini')
Netz = pipeline(image=Image.open('assets/demo.png'))[0]
mesh.export('mini_model.glb')

• Schnell und geeignet für Geräte mit geringer Konfiguration.

caveat

• Stellen Sie sicher, dass der GPU-Treiber mit der CUDA-Version kompatibel ist, um Laufzeitfehler zu vermeiden.
• anpassen num_inference_steps Die Parameter können für die Erzeugungsqualität optimiert werden.
• Wenn Sie Probleme haben, fragen Sie bei GitHub Issues oder Discord (https://discord.gg/dNBrdrGGMa) um Hilfe.

Anwendungsszenario

1. Spieleentwicklung
   Entwickler können damit schnell Charakter- oder Requisitenmodelle für das Spiel erstellen und so die manuelle Modellierungszeit reduzieren.
2. digitale Kunst
   Künstler erstellen 3D-Grafiken aus Text oder Bildern für kreative oder NFT-Produktionen.
3. Produktdesign
   Konstrukteure laden Produktbilder hoch, um 3D-Modelle zur Darstellung oder zum Testen von Prototypen zu erstellen.
4. Bildungsforschung
   Studenten und Forscher nutzen es, um Techniken für KI-generierte 3D-Darstellungen zu erforschen und um Diffusionsmodelle zu validieren.

QA

1. Was sind die Mindestanforderungen an die Hardware?
   Für den Mini sind 6 GB Videospeicher und für den Standard 12 GB erforderlich, wobei ein NVIDIA-Grafikprozessor empfohlen wird.
2. Ist sie im Handel erhältlich?
   Die Open-Source-Version ist nur für die nicht-kommerzielle Nutzung bestimmt, für die kommerzielle Nutzung wenden Sie sich bitte an .
3. Wie lange dauert es, ein Modell zu erstellen?
   Etwa 30 Sekunden für die schnelle Version und 1-2 Minuten für die Standardversion, je nach Hardware und Einstellungen.