MagicArticulate: Erzeugung von Skelettstruktur-Animationen aus statischen 3D-Modellen

Allgemeine Einführung

MagicArticulate ist ein von ByteDance in Zusammenarbeit mit der Nanyang Technological University (NTU) entwickeltes KI-Framework, das sich auf die schnelle Umwandlung statischer 3D-Modelle in animationsfähige digitale Assets konzentriert. Es vereinfacht den komplexen Prozess der traditionellen 3D-Animationsproduktion durch die automatische Generierung von Skelettstrukturen und Skinning-Gewichten für Modelle durch fortschrittliche autoregressive Transformer und funktionale Diffusionsmodelle. Egal, ob Sie Spieleentwickler, VR/AR-Designer oder Filmanimator sind, dieses Tool hilft den Benutzern, Zeit zu sparen und die Effizienz zu steigern. Auf der Website werden die wichtigsten technischen Errungenschaften vorgestellt, darunter der große Datensatz Articulation-XL und der offene Quellcode, der von Technikbegeisterten und Fachleuten erforscht und genutzt werden kann.

Funktionsliste

• Unterstützung umfangreicher DatensätzeArticulation-XL-Datensatz mit über 33.000 3D-Modellen mit Gelenkbeschriftungen.
• Automatische KnochenerzeugungGenerierung flexibler Skelettstrukturen für statische Modelle unter Verwendung autoregressiver Transformationsverfahren.
• Projektionen des HautgewichtsAutomatische Generierung von Hautgewichten für natürliche Verformungen auf der Grundlage eines funktionalen Diffusionsmodells.
• Verarbeitung von Multikategorie-ModellenUnterstützung für die Erstellung von animierten Assets für eine breite Palette von 3D-Objekten wie Humanoide, Tiere, Maschinen und mehr.
• Offener Quellcode und ModellierungGitHub-Links werden zur Verfügung gestellt, damit Benutzer den Code herunterladen und Modelle vortrainieren können.

Hilfe verwenden

MagicArticulate ist ein technologiebasiertes Tool, das die Animation von 3D-Modellen einfach und effizient macht. Im Folgenden finden Sie eine ausführliche Bedienungsanleitung, die Ihnen hilft, die Funktionen des Tools vollständig zu verstehen, vom Besuch der Website bis zur tatsächlichen Arbeit damit.

Zugang und Installationsprozess

Die MagicArticulate-Website kann ohne Installation aufgerufen werden, aber um das Framework auszuführen und die Funktionen zu nutzen, müssen Sie Ihre Umgebung lokal konfigurieren. Die Schritte sind wie folgt:

1. Zugang zur Website
   Geben Sie in Ihrem Browser ein https://chaoyuesong.github.io/MagicArticulate/Diese Seite enthält eine kurze Beschreibung des Projekts und der technischen Highlights sowie Links zu Downloads. Die Seite enthält eine Projektübersicht, technische Highlights und Download-Links.
2. Quellcode herunterladen
   • Den GitHub-Link finden Sie unten auf der Website oder in der Seitenleiste (normalerweise der https://github.com/ChaoyueSong/MagicArticulate).
   • Klicken Sie auf die Schaltfläche "Code" und wählen Sie "Download ZIP", um die ZIP-Datei herunterzuladen, oder verwenden Sie den Befehl Git:

     git clone https://github.com/ChaoyueSong/MagicArticulate.git
     

   • Entpacken Sie die Dateien in ein lokales Verzeichnis, zum Beispiel MagicArticulate/.
3. Konfigurieren der Laufzeitumgebung
   • Überprüfen der Python-VersionStellen Sie sicher, dass Python 3.8+ installiert ist, Befehl:python --version.
   • Erstellen einer virtuellen Umgebung(empfohlen):

     python -m venv magic_env
     source magic_env/bin/aktivieren # Linux/Mac
     magic_env\Scripts\aktivieren # Windows
     

   • Installation von Abhängigkeiten: Wechseln Sie in das Projektverzeichnis und führen Sie den Befehl aus:

     pip install -r anforderungen.txt
     

     Verfügbar, wenn von Conda unterstützt:

     conda env erstellen -f environment.yml
     conda activate magicarticulate
     

   • AbhängigkeitenJe nach README kann es notwendig sein, PyTorch oder andere Bibliotheken zu installieren, um die GPU-Unterstützung zu gewährleisten und die Leistung zu verbessern.
4. Rahmenwerk starten
   Sobald die Konfiguration abgeschlossen ist, führen Sie das Beispielskript aus (spezifische Befehle finden Sie in der GitHub-Dokumentation), zum Beispiel:

python main.py --input [3D-Modellpfad] --output [Ausgabepfad]

Hauptfunktionen

Nachfolgend finden Sie die wichtigsten Funktionen von MagicArticulate und eine detaillierte Anleitung:

1. die Verwendung des Articulation-XL-Datensatzes

• Funktionelle Beschreibung: Mehr als 33.000 3D-Modelle mit Gelenkkommentaren stehen für Training und Test zur Verfügung.
• Verfahren::

1. Den Link zum Herunterladen des Datensatzes finden Sie auf der Website oder auf GitHub (eventuell muss eine Genehmigung eingeholt werden).
2. Herunterladen und lokal entpacken, z. B. daten/artikulation_xl/.
3. Ändern Sie die Konfigurationsdatei oder die Befehlszeile, um den Pfad anzugeben:

python process.py --datensatz_pfad data/articulation_xl/

4. Nach der Ausführung laden Sie den Datensatz und sehen sich die Annotationsergebnisse an, die zur Validierung oder als Modelleingabe verwendet werden können.

2. automatische Generierung von Skelettstrukturen

• Funktionelle BeschreibungBones: Automatische Erzeugung von Bones für statische 3D-Modelle zur Unterstützung verschiedener Gelenkanforderungen.
• Verfahren::

1. Bereiten Sie ein statisches 3D-Modell vor (OBJ-, FBX- usw. Formate werden unterstützt) und legen Sie es in das Eingabeverzeichnis (z. B. Eingabe/).
2. Führen Sie den Befehl zur Erzeugung von Knochen aus:

python generate_skeleton.py --input input/model.obj --output output/

3. Überprüfen Sie das Ausgabeverzeichnis (Ausgabe/), um Modelldateien mit Knochen zu erzeugen.
4. Öffnen Sie es in Blender oder Maya und testen Sie die Bones, um zu sehen, ob sie den Anforderungen der Animation entsprechen.

3. die Vorhersage des Hautgewichts

• Funktionelle BeschreibungGenerieren Sie natürlich deformierte Hautgewichte für Modelle, die Knochen enthalten.
• Verfahren::

1. Verwenden Sie die im vorherigen Schritt erstellte Modelldatei.
2. Führen Sie das Skript zur Gewichtsprognose aus:

python predict_weights.py --input output/model_with_skeleton.obj --output output/

3. Gibt Modelldateien mit Gewichten aus, die direkt für die Animationsbindung verwendet werden können.
4. Laden Sie eine 3D-Software und testen Sie die Animationseffekte (z. B. Gehen, Drehen).

Anwendungsszenarien und Betriebsbeispiele

Schnelles Prototyping

• Nehmen SieSpieleentwickler müssen Charakteranimationen schnell validieren.
• RiggHochladen des Charaktermodells (OBJ-Format), Ausführen der Bone-Generierung und Gewichtsvorhersage, Erstellen eines Prototyps für eine Laufanimation in 5 Minuten, Importieren in Unity zum Testen.

Erzeugung von VR/AR-Animationen

• Nehmen SieGenerierung von Interaktionsaktionen für virtuelle Roboter.
• RiggEingabe des Robotermodells, Generierung von Knochen und Gewichten, Export in VR-Entwicklungstools (z. B. Unreal Engine), Binden von Benutzerinteraktionsbefehlen.

Hilfsmittel für Film und Videoanimation

• Nehmen SieGenerieren Sie erste Animationen für Fantasy-Kreaturen.
• RiggHochladen des Kreaturenmodells, Ausführen des Frameworks zur Generierung von Bones und Gewichten, Importieren in Maya zur Feinabstimmung der Keyframes und Erstellen einer Vorschauanimation.

Tipps & Tricks

• Vorbereitung des ModellsDas Eingabemodell muss ein einziges Objekt sein, um zu vermeiden, dass komplexe Mehrfachkomponenten die Ergebnisse beeinträchtigen.
• LeistungsoptimierungDie Ausführung auf GPUs kann wesentlich schneller sein, CPUs können langsamer laufen.
• Anpassung der ErgebnisseWenn die Knochen oder Gewichte nicht ideal sind, können die Parameter (z. B. die Anzahl der Gelenke) geändert werden, wie in der Dokumentation beschrieben.
• Frage Feedback: Reichen Sie einen Fehler bei GitHub Issues ein oder kontaktieren Sie den Entwickler Chaoyue Song für Support.

Mit diesen Schritten kann MagicArticulate Ihnen dabei helfen, statische 3D-Modelle schnell in animierte Assets zu konvertieren, und zwar für alle Arten von Benutzern, vom Anfänger bis zum professionellen Designer.