MagicArticulate: generación de recursos de animación de estructuras esqueléticas a partir de modelos 3D estáticos

Introducción general

MagicArticulate es un marco de AI desarrollado por ByteDance en colaboración con la Universidad Tecnológica de Nanyang (NTU) que se centra en la rápida transformación de modelos 3D estáticos en activos digitales de animación. Simplifica en gran medida el complejo proceso de producción de animación 3D tradicional mediante la generación automática de estructuras esqueléticas y pesos de skinning para modelos a través de modelos avanzados autorregresivos Transformer y de difusión funcional. Tanto si eres desarrollador de juegos, diseñador de RV/AR o animador de cine, esta herramienta ayuda a los usuarios a ahorrar tiempo y mejorar la eficiencia. El sitio web exhibe sus principales logros técnicos, incluido el conjunto de datos a gran escala Articulation-XL y el código fuente abierto, apto para que lo exploren y utilicen entusiastas técnicos y profesionales.

Lista de funciones

• Soporte de conjuntos de datos a gran escala: Proporciona el conjunto de datos Articulation-XL, que contiene más de 33.000 modelos 3D con anotaciones de articulaciones.
• Generación automática de huesos: Generación de estructuras esqueléticas flexibles para modelos estáticos mediante técnicas de transformada autorregresiva.
• Proyecciones del peso de la pielGeneración automática de pesos de piel para deformaciones naturales basada en un modelo de difusión funcional.
• Tratamiento de modelos multicategoríaSoporte para generar activos animados para una amplia gama de objetos 3D como humanoides, animales y maquinaria.
• Códigos y modelos de código abiertoEnlaces GitHub: se proporcionan enlaces GitHub para que los usuarios descarguen el código y preentrenen los modelos.

Utilizar la ayuda

MagicArticulate es una herramienta tecnológica diseñada para hacer que la animación de modelos 3D sea fácil y eficaz. A continuación encontrarás una guía de usuario detallada que te ayudará a conocer todas sus funciones, desde visitar el sitio web hasta trabajar con ella.

Acceso y proceso de instalación

El sitio web de MagicArticulate se puede ver sin instalación, pero para ejecutar el framework y experimentar la funcionalidad, es necesario configurar el entorno localmente. Los pasos son los siguientes:

1. Acceso al sitio web
   Escriba en su navegador https://chaoyuesong.github.io/MagicArticulate/Esta página contiene una breve descripción del proyecto y los aspectos tecnológicos más destacados, así como enlaces a descargas. La página contiene una descripción general del proyecto, aspectos técnicos destacados y enlaces a descargas.
2. Descargar código fuente
   • Encuentre el enlace GitHub en la parte inferior del sitio o en la barra lateral (normalmente el enlace https://github.com/ChaoyueSong/MagicArticulate).
   • Haga clic en el botón "Código" y seleccione "Descargar ZIP" para descargar el archivo zip, o utilice el comando Git:

     git clone https://github.com/ChaoyueSong/MagicArticulate.git
     

   • Extraiga los archivos a un directorio local, por ejemplo MagicArticulate/.
3. Configuración del entorno de ejecución
   • Comprobación de la versión de PythonAsegúrese de que Python 3.8+ está instalado, comando:python --version.
   • Creación de un entorno virtual(Recomendado):

     python -m venv magic_env
     source magic_env/bin/activate  # Linux/Mac
     magic_env\Scripts\activate    # Windows
     

   • Instalación de dependencias: Vaya al directorio del proyecto y ejecútelo:

     pip install -r requirements.txt
     

     Disponible si es compatible con Conda:

     conda env create -f environment.yml
     conda activate magicarticulate
     

   • dependencia: Dependiendo del README, puede ser necesario instalar PyTorch u otras librerías para asegurar el soporte GPU para mejorar el rendimiento.
4. Marco de lanzamiento
   Una vez completada la configuración, ejecute el script de ejemplo (consulte la documentación de GitHub para conocer los comandos específicos), por ejemplo:

python main.py --input [3D模型路径] --output [输出路径]

Funciones principales

A continuación encontrará las funciones principales de MagicArticulate e instrucciones detalladas:

1. Utilización del conjunto de datos Articulation-XL

• Descripción funcionalMás de 33.000 modelos 3D con anotaciones de articulaciones están disponibles para formación o pruebas.
• procedimiento::

1. Encuentre el enlace de descarga del conjunto de datos en el sitio web o en GitHub (puede ser necesario solicitar permiso).
2. Descargar y descomprimir localmente, por ejemplo data/articulation_xl/.
3. Modifique el archivo de configuración o la línea de comandos para especificar la ruta:

python process.py --dataset_path data/articulation_xl/

4. Una vez ejecutado, cargue el conjunto de datos y visualice los resultados de la anotación, que pueden utilizarse para la validación o la introducción de datos en el modelo.

2. Generación automática de estructuras esqueléticas

• Descripción funcionalGeneración automática de huesos para modelos 3D estáticos con el fin de satisfacer diversos requisitos de articulación.
• procedimiento::

1. Prepare un modelo 3D estático (se admiten los formatos OBJ, FBX, etc.) y colóquelo en el directorio de entrada (p. ej. input/).
2. Ejecute el comando de generación de huesos:

python generate_skeleton.py --input input/model.obj --output output/

3. Compruebe el directorio de salida (output/) para generar archivos de modelo que contengan huesos.
4. Ábrelo en Blender o Maya y prueba los huesos para ver si cumplen los requisitos de animación.

3. Predicción del peso de la piel

• Descripción funcional: Genera pesos de piel naturalmente deformados para modelos que contienen huesos.
• procedimiento::

1. Utilice el fichero modelo generado en el paso anterior.
2. Ejecute el script de predicción de peso:

python predict_weights.py --input output/model_with_skeleton.obj --output output/

3. Genera archivos de modelo que contienen pesos que pueden utilizarse directamente para la animación.
4. Carga en software 3D y prueba los efectos de animación (por ejemplo, caminar, girar).

Escenarios de aplicación y ejemplos de funcionamiento

Creación rápida de prototipos

• toma: Los diseñadores de juegos necesitan validar rápidamente las animaciones de los personajes.
• plataformaCarga de modelo de personaje (formato OBJ), generación de huesos y predicción de peso, generación de prototipo de animación caminando en 5 minutos, importación a Unity para pruebas.

Generación de animaciones VR/AR

• tomaGeneración de acciones de interacción para robots virtuales.
• plataformaEntrada de modelo de robot, generación de huesos y pesos, exportación a herramientas de desarrollo de RV (por ejemplo, Unreal Engine), vinculación de comandos de interacción con el usuario.

Ayudas para la animación de películas y vídeos

• toma: Genera animaciones iniciales para criaturas de fantasía.
• plataformaCarga el modelo de la criatura, ejecuta el framework para generar huesos y pesos, importa a Maya para ajustar los fotogramas clave y genera una animación de previsualización.

Trucos y consejos

• Preparación de modelosAsegúrese de que el modelo de entrada es un único objeto para evitar que componentes múltiples complejos afecten a los resultados.
• optimización del rendimientoLa ejecución en GPU puede ser sustancialmente más rápida, mientras que en CPU puede ser más lenta.
• Ajuste de los resultadosSi los huesos o los pesos no son los ideales, se pueden modificar los parámetros (por ejemplo, el número de articulaciones), como se describe en la documentación.
• PreguntasEnvía un problema a GitHub Issues o ponte en contacto con el desarrollador Chaoyue Song para obtener ayuda.

Con estos pasos, MagicArticulate puede ayudarte a convertir rápidamente modelos 3D estáticos en activos animados para todo tipo de usuarios, desde principiantes hasta diseñadores profesionales.