MagicArticulate : génération d'animations de structures squelettiques à partir de modèles 3D statiques

Introduction générale

MagicArticulate est un cadre d'IA développé par ByteDance en collaboration avec l'Université technologique de Nanyang (NTU) qui se concentre sur la transformation rapide de modèles 3D statiques en ressources numériques capables d'animation. Il simplifie considérablement le processus complexe de production d'animation 3D traditionnelle en générant automatiquement des structures squelettiques et des poids d'habillage pour les modèles grâce à un transformateur autorégressif avancé et à des modèles de diffusion fonctionnelle. Que vous soyez développeur de jeux, concepteur VR/AR ou animateur de films, cet outil permet aux utilisateurs de gagner du temps et d'améliorer leur efficacité. Le site web présente ses principales réalisations techniques, notamment l'ensemble de données à grande échelle Articulation-XL et le code source ouvert, que les passionnés de technique et les professionnels peuvent explorer et utiliser.

Liste des fonctions

• Prise en charge d'ensembles de données à grande échelleArticulation-XL : fournit l'ensemble de données Articulation-XL contenant plus de 33 000 modèles 3D avec des annotations sur les articulations.
• Génération automatique d'os: Génération de structures squelettiques flexibles pour les modèles statiques en utilisant des techniques de transformation autorégressives.
• Projections du poids de la peauLe projet de loi sur les droits de l'homme et les droits de l'homme : Génération automatique de poids de peau pour les déformations naturelles basée sur un modèle de diffusion fonctionnelle.
• Traitement des modèles multi-catégorielsLes fonctionnalités de l'application sont les suivantes : prise en charge de la génération de ressources animées pour une large gamme d'objets 3D tels que les humanoïdes, les animaux et les machines.
• Code source ouvert et modélisationLes liens GitHub sont fournis pour permettre aux utilisateurs de télécharger le code et de pré-entraîner les modèles.

Utiliser l'aide

MagicArticulate est un outil technologique conçu pour rendre l'animation de modèles 3D facile et efficace. Vous trouverez ci-dessous un guide d'utilisation détaillé qui vous aidera à comprendre toutes les fonctionnalités de cet outil, de la visite du site web à l'utilisation réelle.

Processus d'accès et d'installation

Le site web MagicArticulate peut être consulté sans installation, mais pour exécuter le framework et expérimenter les fonctionnalités, vous devez configurer votre environnement localement. Les étapes sont les suivantes :

1. Accès au site web
   Tapez dans votre navigateur https://chaoyuesong.github.io/MagicArticulate/Le projet est un projet des États-Unis d'Amérique, et il renvoie à la page d'accueil. La page contient une vue d'ensemble du projet, des informations techniques et des liens de téléchargement.
2. Télécharger le code source
   • Le lien GitHub se trouve au bas du site ou dans la barre latérale (généralement le lien https://github.com/ChaoyueSong/MagicArticulate).
   • Cliquez sur le bouton "Code" et sélectionnez "Download ZIP" pour télécharger le fichier zip, ou utilisez la commande Git :

     git clone https://github.com/ChaoyueSong/MagicArticulate.git
     

   • Extraire les fichiers dans un répertoire local, par exemple MagicArticulate/.
3. Configuration de l'environnement d'exécution
   • Vérification de la version de PythonPython 3.8+ : Assurez-vous que Python 3.8+ est installé, commande :python --version.
   • Créer un environnement virtuel(recommandé) :

     python -m venv magic_env
     source magic_env/bin/activate  # Linux/Mac
     magic_env\Scripts\activate    # Windows
     

   • Installation des dépendancesPour ce faire, vous devez vous rendre dans le répertoire du projet et lancer le programme :

     pip install -r requirements.txt
     

     Disponible s'il est pris en charge par Conda :

     conda env create -f environment.yml
     conda activate magicarticulate
     

   • dépendanceSelon le README, il peut être nécessaire d'installer PyTorch ou d'autres bibliothèques pour assurer la prise en charge du GPU et améliorer les performances.
4. Cadre de lancement
   Une fois la configuration terminée, exécutez l'exemple de script (reportez-vous à la documentation GitHub pour les commandes spécifiques), par exemple :

python main.py --input [3D模型路径] --output [输出路径]

Principales fonctions

Vous trouverez ci-dessous les fonctions principales de MagicArticulate et des instructions détaillées :

1. utilisation de l'ensemble de données Articulation-XL

• Description fonctionnelleLe site Web de l'Agence européenne pour l'évaluation des médicaments (AEDM) : plus de 33 000 modèles 3D avec des annotations sur les articulations sont disponibles pour l'entraînement ou les tests.
• procédure: :

1. Trouvez le lien de téléchargement du jeu de données sur le site web ou sur GitHub (une autorisation peut être demandée).
2. Télécharger et décompresser localement, par exemple data/articulation_xl/.
3. Modifiez le fichier de configuration ou la ligne de commande pour spécifier le chemin d'accès :

python process.py --dataset_path data/articulation_xl/

4. Une fois l'exécution terminée, chargez le jeu de données et visualisez les résultats de l'annotation, qui peuvent être utilisés pour la validation ou l'entrée dans le modèle.

2. la génération automatique de structures squelettiques

• Description fonctionnelleLes modèles 3D statiques : générer automatiquement des os pour des modèles 3D statiques afin de répondre à diverses exigences en matière d'articulations.
• procédure: :

1. Préparer un modèle 3D statique (les formats OBJ, FBX, etc. sont pris en charge), le placer dans le répertoire d'entrée (par ex. input/).
2. Exécutez la commande de génération d'os :

python generate_skeleton.py --input input/model.obj --output output/

3. Vérifier le répertoire de sortie (output/) pour générer des fichiers modèles contenant des os.
4. Ouvrez-la dans Blender ou Maya et testez les os pour voir s'ils répondent aux exigences de l'animation.

3. la prédiction des poids de la peau

• Description fonctionnelleLes modèles contenant des os peuvent être déformés naturellement par le poids de la peau.
• procédure: :

1. Utilisez le fichier de modèle généré à l'étape précédente.
2. Exécutez le script de prédiction du poids :

python predict_weights.py --input output/model_with_skeleton.obj --output output/

3. Produit des fichiers de modèle contenant des poids qui peuvent être utilisés directement pour la liaison d'animation.
4. Charger dans un logiciel 3D et tester les effets d'animation (par exemple, marcher, tourner).

Scénarios d'application et exemples de fonctionnement

Prototypage rapide

• prendreLes concepteurs de jeux ont besoin de valider rapidement les animations des personnages.
• gréementTélécharger le modèle du personnage (format OBJ), lancer la génération des os et la prédiction du poids, générer un prototype d'animation de marche en 5 minutes, importer dans Unity pour le tester.

Génération d'animations VR/AR

• prendre: Génération d'actions d'interaction pour les robots virtuels.
• gréementLes outils de développement de la RV (par exemple Unreal Engine), les commandes d'interaction avec l'utilisateur.

Aides à l'animation de films et de vidéos

• prendreLes animations : Générer des animations initiales pour des créatures fantastiques.
• gréementTélécharger le modèle de la créature, exécuter le cadre pour générer les os et les poids, importer dans Maya pour affiner les images clés et générer une animation de prévisualisation.

Conseils et astuces

• Préparation du modèleLes résultats de l'analyse de l'impact sur l'environnement ne peuvent être obtenus que si le modèle d'entrée est un objet unique, afin d'éviter que des composants multiples et complexes n'affectent les résultats.
• l'optimisation des performancesL'exécution sur les GPU peut être nettement plus rapide, tandis que les CPU peuvent être plus lents.
• Ajustement des résultatsSi les os ou les poids ne sont pas idéaux, les paramètres (par exemple le nombre d'articulations) peuvent être modifiés, comme décrit dans la documentation.
• Question FeedbackPour en savoir plus : Soumettez un problème sur GitHub Issues ou contactez le développeur Chaoyue Song pour obtenir de l'aide.

Avec ces étapes, MagicArticulate peut vous aider à convertir rapidement des modèles 3D statiques en ressources animées pour tous les types d'utilisateurs, des débutants aux concepteurs professionnels.