TripoSG : Générer des actifs numériques modélisés en 3D à haute résolution à partir d'une seule image

Introduction générale

TripoSG est un projet open source développé par l'équipe de recherche VAST AI qui génère des modèles 3D de haute qualité à partir d'une seule image. Le projet utilise la technologie des convertisseurs redresseur-flux à grande échelle, combinée à une formation hybride supervisée et à des ensembles de données de haute qualité, pour produire des modèles 3D avec des détails géométriques clairs et des structures complexes. Son code et ses modèles pré-entraînés sont disponibles sur GitHub et peuvent être téléchargés et utilisés gratuitement par tous. L'objectif de cet outil est d'aider les chercheurs, les développeurs et les créateurs à créer plus facilement des ressources numériques en 3D.

Liste des fonctions

• Générer des modèles 3D haute résolution à partir d'une seule image, avec prise en charge de plusieurs styles d'entrée.
• Permet d'obtenir des caractéristiques géométriques claires et des détails de surface fins.
• Prise en charge de la génération de formes 3D pour les topologies complexes.
• Code source ouvert et modèles pré-entraînés, permettant aux utilisateurs de les modifier et de les optimiser librement.
• L'utilisation de convertisseurs redresseur-flux à grande échelle garantit un processus de production stable et efficace.

Utiliser l'aide

TripoSG est un outil qui nécessite une installation locale et qui s'adresse à des utilisateurs ayant une certaine base technique, tels que des développeurs ou des chercheurs. Vous trouverez ci-dessous les étapes détaillées de l'installation et de l'utilisation.

Processus d'installation

1. Préparation de l'environnement
   Avant d'utiliser TripoSG, vous devez vous assurer que vous disposez d'un environnement Python sur votre ordinateur. Python 3.10 ou plus est recommandé. Vous pouvez vérifier la version avec la commande suivante :

python --version

S'il n'est pas installé, il peut être téléchargé à partir de https://www.python.org.

2. projet de clonage
   Ouvrez un terminal et entrez la commande suivante pour télécharger le projet TripoSG localement :

git clone https://github.com/VAST-AI-Research/TripoSG.git

Une fois le téléchargement terminé, allez dans le dossier du projet :

cd TripoSG

3. Installation de PyTorch
   TripoSG nécessite le support de PyTorch. Allez sur https://pytorch.org/get-started/locally/ et choisissez la version appropriée pour votre système d'exploitation et votre carte graphique (support CUDA ou non). Par exemple, si vous avez une carte graphique NVIDIA et que vous supportez CUDA 11.8, vous pouvez l'exécuter :

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

Si vous n'avez pas de carte graphique, vous pouvez installer la version CPU :

pip install torch torchvision

4. Installation des dépendances
   Le projet prévoit une requirements.txt qui liste toutes les bibliothèques nécessaires. Exécutez-le dans un terminal :

pip install -r requirements.txt

Cela installera automatiquement les outils nécessaires tels que transformers et trimesh.

5. Vérifier l'installation
   Une fois l'installation terminée, vous pouvez exécuter une simple commande de test pour vous assurer que l'environnement fonctionne :

python -c "import torch; print(torch.__version__)"

Si le numéro de version est indiqué, l'installation a réussi.

Utilisation

La fonction principale de TripoSG est de générer des modèles 3D à partir d'images. Voici les étapes.

Préparation de l'image d'entrée

Vous avez besoin d'une image claire en entrée, par exemple au format PNG ou JPG. Le contenu de l'image peut être un objet réel, un personnage de dessin animé ou une esquisse dessinée à la main. Veillez à ce que l'image ait un arrière-plan simple pour une meilleure génération.

Exécutez la commande generate

1. Placer le fichier image dans le dossier du projet TripoSG, ou se souvenir du chemin d'accès au fichier.
2. Exécutez la commande suivante dans le terminal :

python run.py --image 你的图像路径 --output-dir 输出文件夹

Par exemple :

python run.py --image ./example.png --output-dir ./output

• --image Spécifie le chemin de l'image d'entrée.
• --output-dir Spécifier l'endroit où enregistrer le modèle 3D, la valeur par défaut étant output/.

3. Attendez la génération. Le processus peut prendre quelques minutes, en fonction des performances de votre ordinateur et de la complexité de l'image. Une fois le processus terminé, vous verrez le fichier du modèle 3D généré (généralement au format OBJ) dans le dossier de sortie.

Paramètres de réglage (en option)

TripoSG permet d'ajuster certains paramètres pour générer des effets. Par exemple :

• --mc-resolution: définit la résolution du maillage, la valeur par défaut étant 256. Des valeurs plus élevées permettent d'obtenir plus de détails, mais entraînent des temps de calcul plus longs.

python run.py --image ./example.png --mc-resolution 512 --output-dir ./output

• --bake-textureLes couleurs des vertex : Générer des cartes de texture au lieu de couleurs de vertex.

python run.py --image ./example.png --bake-texture --texture-resolution 2048 --output-dir ./output

Voir les résultats

Le modèle 3D généré peut être ouvert dans des logiciels tels que Blender ou MeshLab. Dans Blender, cliquez sur "Fichier > Importer > Wavefront (.obj)" pour charger le modèle et vérifier les détails et les textures.

Problèmes courants résolus...

• Si le message d'avertissement vous indique que CUDA n'est pas pris en charge, assurez-vous que la version de CUDA de PyTorch correspond au pilote de la carte graphique de votre ordinateur.
• Si la génération échoue, vérifiez si l'image répond aux exigences ou essayez de mettre à jour les bibliothèques dépendantes :

pip install --upgrade -r requirements.txt

Utilisation avancée

TripoSG est un logiciel libre et vous pouvez modifier le code pour répondre à des besoins spécifiques. Par exemple, pour ajuster les paramètres du modèle ou ajouter de nouvelles fonctionnalités. La documentation du projet est disponible sur GitHub à l'adresse suivante README.mdqui détaille la structure du code et les méthodes de contribution.

scénario d'application

1. développement de jeux
   Les développeurs peuvent utiliser TripoSG pour générer rapidement des modèles 3D à partir de dessins conceptuels, ce qui permet d'économiser du temps de modélisation.
2. Impression 3D
   Les créateurs peuvent saisir des croquis de conception pour générer des fichiers 3D imprimables qui peuvent être utilisés pour créer des modèles physiques.
3. Recherche en éducation
   Les étudiants et les chercheurs peuvent l'utiliser pour explorer les techniques de conversion d'images en 3D et se familiariser avec l'utilisation de l'IA dans la modélisation.
4. animation
   Les animateurs peuvent générer des modèles de personnages à partir d'images de dessins animés afin d'accélérer le processus de préproduction.

QA

1. Quels sont les formats d'image pris en charge par TripoSG ?
   Les formats d'image courants tels que PNG et JPG sont pris en charge. Il est recommandé d'utiliser des images de plus haute résolution pour obtenir de meilleurs résultats.
2. Besoin d'une carte vidéo ?
   Pas nécessairement. Vous pouvez l'exécuter sur un CPU sans carte graphique, mais il sera plus rapide avec une carte NVIDIA.
3. Le modèle généré est-il disponible dans le commerce ?
   Oui, TripoSG utilise la licence MIT, qui permet une utilisation et une modification libres, à condition que la mention du copyright soit conservée.
4. Pourquoi les résultats obtenus ne sont-ils pas satisfaisants ?
   Il se peut que l'arrière-plan de l'image soit trop complexe ou que la résolution soit trop faible. Essayez de simplifier l'arrière-plan ou d'améliorer la qualité de l'image.