TripoSR : Modèles rapides de reconstruction 3D à partir d'une seule image, Open Source Text to 3D Modelling|Image to 3D Modelling

Introduction générale

TripoSR est un modèle open source développé conjointement par Tripo AI et Stability AI, conçu pour générer rapidement des modèles 3D de haute qualité à partir d'une seule image. Le modèle est basé sur l'architecture LRM (Large Reconstruction Model) et est capable de générer des maillages 3D en moins de 0,5 s. TripoSR surpasse d'autres alternatives open source sur de multiples ensembles de données publiquement disponibles, offrant vitesse et qualité pour un large éventail de domaines, y compris le divertissement, les jeux, le design industriel et l'architecture.

En plus du déploiement local, vous pouvez visiter le site officiel de TRIPO pour une génération illimitée de projets et 10 crédits de haute qualité de texte à 3D et d'image à 3D par mois.

Site officiel de TripoSR

TripoSR Générer 4 modèles 3D présélectionnés

 

Exemple de génération de TripoSR

Liste des fonctions

• Reconstruction 3D rapideLes modèles 3D : générez des modèles 3D de haute qualité à partir d'une seule image en seulement 0,5 seconde.
• Une production de haute qualitéLes modèles 3D : Générer des modèles 3D avec une résolution et un niveau de détail élevés.
• source ouverteLe code source complet et les modèles pré-entraînés sont fournis pour la commodité des chercheurs et des développeurs.
• Support multiplateformeLa technologie de l'information et de la communication (TIC) : elle prend en charge le fonctionnement du GPU et de l'unité centrale pour différents environnements matériels.
• Démonstration en ligneLes utilisateurs peuvent ainsi se rendre compte de la puissance du modèle.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnement: :
   • Assurez-vous que Python 3.8 ou une version ultérieure est installé.
   • Installer CUDA (si disponible).
   • Installez PyTorch, en vous assurant que la version de CUDA installée localement correspond à la version de PyTorch.
2. Clonage de la base de code: :

   git clone https://github.com/VAST-AI-Research/TripoSR.git
   cd TripoSR

3. Installation des dépendances: :

   pip install -r requirements.txt

Processus d'utilisation

1. exemple de fonctionnement: :

   python run.py examples/chair.png --output-dir output/

   Cette opération permet d'enregistrer le modèle 3D reconstruit dans le fichieroutput/Catalogue.

2. Applications natives de Gradio: :

   python gradio_app.py

   Le lancement de l'application locale Gradio permet aux utilisateurs de télécharger des images et de générer des modèles 3D via l'interface web.

Étapes détaillées

1. Prétraitement des images: :
   • Traite l'image d'entrée dans un tableau NumPy.
   • Les caractéristiques sont extraites à l'aide d'un encodeur d'images.
2. Reconstruction en 3D: :
   • Les caractéristiques extraites sont introduites dans l'image par le décodeur à trois plans.
   • Prédiction de la couleur et de la densité à l'aide de champs de radiation neuronaux à trois plans.
3. Production d'électricité: :
   • Le maillage 3D généré peut être enregistré dans différents formats pour faciliter son utilisation et son édition ultérieures.

problèmes courants

• Erreur CUDASi vous rencontrez des erreurs liées à CUDA, assurez-vous que la version de CUDA installée localement correspond à la version de PyTorch.
• L'installation des dépendances a échoué: Assurez-vous que vous disposez de la dernière version desetuptoolset utiliserpip install --upgrade setuptoolsEffectuer des mises à niveau.