TRELLIS: Von Microsoft entwickeltes Modell zur Erzeugung von 3D-Assets mit Unterstützung mehrerer Formate und flexibler Bearbeitung

Allgemeine Einführung

TRELLIS ist ein von Microsoft entwickeltes Modell zur Erzeugung von 3D-Inhalten in großem Maßstab. Das Herzstück von TRELLIS ist eine einheitliche Darstellung von strukturierten latenten Variablen (SLAT), die eine Dekodierung in verschiedene Ausgabeformate ermöglicht und durch die Robustheit von speziell für SLAT entwickelten Gleichrichter-Fluss-Transformatoren unterstützt wird. Das Modell wurde an einem großen 3D-Asset-Datensatz mit 500.000 verschiedenen Objekten trainiert und übertrifft bestehende Methoden deutlich. Es zeigt eine flexible Auswahl des Ausgabeformats und native 3D-Bearbeitungsfunktionen.

Funktionsliste

• Hochwertige Generierung: Generieren Sie vielfältige 3D-Assets mit komplexen Form- und Texturdetails.
• Vielseitigkeit: Sie erhalten Text- oder Bildanweisungen, um eine Vielzahl von 3D-Darstellungen zu generieren, darunter radiale Felder, 3D-Gaußformen und Netze.
• Flexible Bearbeitung: Ermöglicht die einfache Bearbeitung von generierten 3D-Assets, wie z. B. die Erstellung von Varianten desselben Objekts oder die lokale Bearbeitung von 3D-Assets.

Hilfe verwenden

Einbauverfahren

1. Vorbedingung::
   • Empfohlen für die Ausführung von Code auf Linux, nicht auf anderen Plattformen getestet.
   • Conda wird für die Verwaltung von Abhängigkeiten empfohlen.
   • Erfordert Python 3.8 oder höher.
   • Erfordert einen NVIDIA-Grafikprozessor mit 16 GB oder mehr RAM, der Code wurde auf NVIDIA A100 und A6000 Grafikprozessoren getestet.
   • Erfordert CUDA-Toolkit, um bestimmte Untermodule zu kompilieren. Der Code wurde auf CUDA 11.8 und 12.2 getestet.
2. Installationsschritte::
   • Klonen des Repositorys:

     git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
     cd TRELLIS
     

   • Abhängigkeiten installieren:

     . ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
     

Verwendungsprozess

1. Laden von vortrainierten Modellen::

   from trellis.pipelines import TrellisImageTo3DPipeline
   pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
   pipeline.cuda()
   

2. Laden Sie das Bild und führen Sie die Pipeline aus::

   from PIL import Image
   image = Image.open("assets/example_image/T.png")
   outputs = pipeline.run(image, seed=1)
   

3. Rendering-Ausgabe::

   from trellis.utils import render_utils
   video = render_utils.render_video(outputs['gaussian'][0])['color']
   

4. Ergebnisse speichern::

   import imageio
   imageio.mimsave("sample_gs.mp4", video, fps=30)