TripoSG: Generierung von hochauflösenden 3D-Modellen aus einem einzigen Bild

Allgemeine Einführung

TripoSG ist ein Open-Source-Projekt, das vom VAST-KI-Forschungsteam entwickelt wurde und hochwertige 3D-Modelle aus einem einzigen Bild erzeugt. Das Projekt nutzt eine groß angelegte Gleichrichter-Fluss-Wandler-Technologie in Kombination mit einem hybriden überwachten Training und hochwertigen Datensätzen, um 3D-Modelle mit klaren geometrischen Details und komplexen Strukturen zu erzeugen. TripoSG eignet sich nicht nur für Bilder im realen Stil, sondern kann auch verschiedene Eingaben wie Cartoons und Skizzen verarbeiten. Der Code und die vortrainierten Modelle sind auf GitHub offen zugänglich und können von jedermann kostenlos heruntergeladen und verwendet werden. Das Ziel dieses Tools ist es, Forschern, Entwicklern und Kreativen die Erstellung von digitalen 3D-Assets zu erleichtern.

Funktionsliste

• Generieren Sie hochauflösende 3D-Modelle aus einem einzigen Bild, mit Unterstützung für mehrere Eingabestile.
• Ermöglicht klare geometrische Merkmale und feine Oberflächendetails.
• Unterstützt die Erzeugung von 3D-Formen für komplexe Topologien.
• Offener Quellcode und vortrainierte Modelle, die von den Nutzern frei verändert und optimiert werden können.
• Der Einsatz von großen Gleichrichter-Durchflusswandlern gewährleistet einen stabilen und effizienten Erzeugungsprozess.

Hilfe verwenden

TripoSG ist ein Tool, das eine lokale Installation erfordert und sich an Benutzer mit einer gewissen technischen Grundlage richtet, z. B. Entwickler oder Forscher. Nachfolgend finden Sie eine detaillierte Beschreibung der Installation und Verwendung.

Einbauverfahren

1. Vorbereiten der Umgebung
   Bevor Sie TripoSG verwenden, müssen Sie sicherstellen, dass Sie eine Python-Umgebung auf Ihrem Computer haben. Python 3.10 oder höher wird empfohlen. Sie können die Version mit dem folgenden Befehl überprüfen:

python --version

Falls es nicht installiert ist, kann es von https://www.python.org heruntergeladen werden.

2. Klonprojekt
   Öffnen Sie ein Terminal und geben Sie den folgenden Befehl ein, um das TripoSG-Projekt lokal herunterzuladen:

git clone https://github.com/VAST-AI-Research/TripoSG.git

Sobald der Download abgeschlossen ist, wechseln Sie in den Projektordner:

cd TripoSG

3. Installation von PyTorch
   TripoSG erfordert die Unterstützung von PyTorch. Gehen Sie zu https://pytorch.org/get-started/locally/ und wählen Sie die entsprechende Version für Ihr Betriebssystem und Ihre Grafikkarte (CUDA-Unterstützung oder nicht). Wenn Sie zum Beispiel eine NVIDIA-Grafikkarte haben und CUDA 11.8 unterstützen, können Sie es ausführen:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

Wenn Sie keine Grafikkarte haben, können Sie die CPU-Version installieren:

pip install torch torchvision

4. Installation von Abhängigkeiten
   Das Projekt bietet eine requirements.txt Datei, die alle benötigten Bibliotheken auflistet. Führen Sie sie in einem Terminal aus:

pip install -r requirements.txt

Dadurch werden automatisch die erforderlichen Toolkits wie Transformers und Trimesh installiert.

5. Überprüfen der Installation
   Sobald die Installation abgeschlossen ist, können Sie einen einfachen Testbefehl ausführen, um sicherzustellen, dass die Umgebung funktioniert:

python -c "import torch; print(torch.__version__)"

Wenn die Versionsnummer ausgegeben wird, war die Installation erfolgreich.

Verwendung

Die Kernfunktion von TripoSG besteht darin, 3D-Modelle aus Bildern zu erzeugen. Hier sind die Schritte.

Vorbereiten des Eingabebildes

Sie benötigen ein klares Bild als Eingabe, zum Beispiel im PNG- oder JPG-Format. Der Bildinhalt kann ein echtes Objekt, eine Zeichentrickfigur oder eine handgezeichnete Skizze sein. Achten Sie darauf, dass das Bild zur besseren Generierung einen einfachen Hintergrund hat.

Führen Sie den Befehl generate aus

1. Legen Sie die Bilddatei in den TripoSG-Projektordner, oder merken Sie sich den Dateipfad.
2. Führen Sie den folgenden Befehl im Terminal aus:

python run.py --image 你的图像路径 --output-dir 输出文件夹

Zum Beispiel:

python run.py --image ./example.png --output-dir ./output

• --image Gibt den Pfad des Eingabebildes an.
• --output-dir Geben Sie an, wo das 3D-Modell gespeichert werden soll; die Vorgabe ist output/.

3. Warten Sie auf die Generierung. Der Vorgang kann einige Minuten dauern, abhängig von der Leistung Ihres Computers und der Komplexität des Bildes. Wenn Sie fertig sind, sehen Sie die generierte 3D-Modelldatei (normalerweise im OBJ-Format) im Ausgabeordner.

Anpassungsparameter (optional)

TripoSG unterstützt einige Parametereinstellungen zur Erzeugung von Effekten. Zum Beispiel:

• --mc-resolutionLegt die Netzauflösung fest, Standardwert ist 256. Größere Werte führen zu mehr Details, aber auch zu längeren Berechnungszeiten.

python run.py --image ./example.png --mc-resolution 512 --output-dir ./output

• --bake-textureErzeugen von Texturkarten anstelle von Vertexfarben.

python run.py --image ./example.png --bake-texture --texture-resolution 2048 --output-dir ./output

Ergebnisse anzeigen

Das erzeugte 3D-Modell kann in Software wie Blender oder MeshLab geöffnet werden. In Blender klicken Sie auf "Datei > Importieren > Wellenfront (.obj)", um das Modell zu laden und die Details und Texturen zu überprüfen.

Häufig gestellte Fragen

• Wenn Sie wegen fehlender CUDA-Unterstützung gefragt werden, stellen Sie sicher, dass die CUDA-Version von PyTorch mit dem Grafikkartentreiber Ihres Computers übereinstimmt.
• Wenn die Generierung fehlschlägt, prüfen Sie, ob das Image den Anforderungen entspricht, oder versuchen Sie, die abhängigen Bibliotheken zu aktualisieren:

pip install --upgrade -r requirements.txt

Erweiterte Nutzung

TripoSG ist quelloffen, und Sie können den Code ändern, um bestimmte Anforderungen zu erfüllen. Zum Beispiel, um Modellparameter anzupassen oder neue Funktionen hinzuzufügen. Die Projektdokumentation finden Sie auf GitHub unter README.mdmit einer detaillierten Beschreibung der Codestruktur und der Beitragsmethoden.

Anwendungsszenario

1. Spieleentwicklung
   Entwickler können mit TripoSG schnell 3D-Modelle aus konzeptionellen Zeichnungen erstellen und so Zeit bei der Modellierung sparen.
2. 3D-Druck
   Ersteller können Designskizzen eingeben, um druckbare 3D-Dateien zu erzeugen, die zur Erstellung physischer Modelle verwendet werden können.
3. Bildungsforschung
   Studenten und Forscher können damit Bild-zu-3D-Konvertierungstechniken erforschen und etwas über den Einsatz von KI bei der Modellierung lernen.
4. Animation
   Um den Vorproduktionsprozess zu beschleunigen, können Animatoren Charaktermodelle anhand von Cartoon-Bildern erstellen.

QA

1. Welche Bildformate werden von TripoSG unterstützt?
   Gängige Bildformate wie PNG und JPG werden unterstützt. Für bessere Ergebnisse werden Bilder mit höherer Auflösung empfohlen.
2. Sie brauchen eine Grafikkarte?
   Nicht unbedingt. Sie können es auf einer CPU ohne Grafikkarte laufen lassen, aber mit NVIDIA-Grafik wird es schneller sein.
3. Ist das erstellte Modell im Handel erhältlich?
   Ja. TripoSG verwendet die MIT-Lizenz, die die freie Nutzung und Veränderung erlaubt, sofern der Copyright-Hinweis beibehalten wird.
4. Warum sind die erzielten Ergebnisse nicht zufriedenstellend?
   Möglicherweise ist der Bildhintergrund zu komplex oder die Auflösung zu niedrig. Versuchen Sie, den Hintergrund zu vereinfachen oder die Bildqualität zu verbessern.