TRELLIS : modèle de génération d'actifs 3D développé par Microsoft avec prise en charge de plusieurs formats et souplesse d'édition.

Introduction générale

TRELLIS est un modèle de génération de ressources 3D à grande échelle développé par Microsoft. Au cœur de TRELLIS se trouve une représentation unifiée des variables latentes structurées (SLAT), qui lui permet d'être décodée dans différents formats de sortie et qui est soutenue par la robustesse des transformateurs rectificateurs-flux conçus spécifiquement pour SLAT. Pré-entraîné sur un grand ensemble de données 3D contenant 500 000 objets divers, le modèle surpasse de manière significative les méthodes existantes, démontrant une sélection flexible des formats de sortie et des capacités d'édition 3D natives.

Liste des fonctions

• Génération de haute qualité : générez des ressources 3D diverses avec des détails de forme et de texture complexes.
• Polyvalence : recevez des invites sous forme de texte ou d'image pour générer une variété de représentations 3D, y compris des champs radiaux, des gaussiennes 3D et des maillages.
• Édition flexible : permet d'éditer facilement les ressources 3D générées, par exemple en générant des variantes d'un même objet ou en éditant localement les ressources 3D.

Utiliser l'aide

Processus d'installation

1. condition préalable: :
   • Recommandé pour exécuter le code sur Linux, non testé sur d'autres plateformes.
   • Conda est recommandé pour la gestion des dépendances.
   • Nécessite Python 3.8 ou plus.
   • Nécessite un GPU NVIDIA avec 16 Go ou plus de RAM. Le code a été testé sur les GPU NVIDIA A100 et A6000.
   • Nécessite la boîte à outils CUDA pour compiler certains sous-modules, le code a été testé sur CUDA 11.8 et 12.2.
2. Étapes de l'installation: :
   • Clonage du référentiel :

     git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
     cd TRELLIS
     

   • Installer les dépendances :

     . ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
     

Processus d'utilisation

1. Chargement de modèles pré-entraînés: :

   from trellis.pipelines import TrellisImageTo3DPipeline
   pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
   pipeline.cuda()
   

2. Charger l'image et exécuter le pipeline: :

   from PIL import Image
   image = Image.open("assets/example_image/T.png")
   outputs = pipeline.run(image, seed=1)
   

3. le résultat de l'interprétation: :

   from trellis.utils import render_utils
   video = render_utils.render_video(outputs['gaussian'][0])['color']
   

4. Enregistrer les résultats: :

   import imageio
   imageio.mimsave("sample_gs.mp4", video, fps=30)