MagicArticulate: создание анимационных активов скелетной структуры из статичных 3D-моделей

Общее введение

MagicArticulate - это ИИ-фреймворк, разработанный компанией ByteDance совместно с Наньянгским технологическим университетом (NTU) и предназначенный для быстрого преобразования статичных 3D-моделей в цифровые активы с поддержкой анимации. Он значительно упрощает сложный процесс создания традиционной 3D-анимации, автоматически генерируя скелетные структуры и веса скинов для моделей с помощью усовершенствованных моделей авторегрессионного трансформера и функциональной диффузии. Будь то разработчик игр, VR/AR-дизайнер или аниматор, этот инструмент поможет пользователям сэкономить время и повысить эффективность. На сайте представлены основные технические достижения, включая масштабный набор данных Articulation-XL и открытый исходный код, которые могут изучать и использовать как энтузиасты, так и профессионалы.

Список функций

• Поддержка масштабных наборов данных: Предоставляет набор данных Articulation-XL, содержащий более 33 000 3D-моделей с аннотациями суставов.
• Автоматическая генерация костей: Генерирование гибких скелетных структур для статических моделей с помощью методов авторегрессионных трансформаторов.
• Прогнозы веса кожи: Автоматическая генерация веса кожи для естественной деформации на основе модели функциональной диффузии.
• Обработка многокатегорийных моделей: Поддержка создания анимированных активов для широкого спектра 3D-объектов, таких как гуманоиды, животные и механизмы.
• Открытый исходный код и моделированиеДля загрузки кода и предварительного обучения моделей пользователям предоставляются ссылки на GitHub.

Использование помощи

MagicArticulate - это технологичный инструмент, предназначенный для простой и эффективной анимации 3D-моделей. Ниже приведено подробное руководство пользователя, которое поможет вам получить полное представление о его возможностях, начиная с посещения сайта и заканчивая работой с ним.

Доступ и процесс установки

Сайт MagicArticulate можно просмотреть без установки, но чтобы запустить фреймворк и оценить его функциональность, необходимо локально настроить среду. Сделать это можно следующим образом:

1. Доступ к веб-сайту
   Введите в браузере https://chaoyuesong.github.io/MagicArticulate/Этот проект уже разработан и теперь доступен на домашней странице. Страница содержит обзор проекта, технические характеристики и ссылки для скачивания.
2. Загрузить исходный код
   • Найдите ссылку GitHub в нижней части сайта или в боковой панели (обычно это https://github.com/ChaoyueSong/MagicArticulate).
   • Нажмите кнопку "Код" и выберите "Загрузить ZIP", чтобы загрузить zip-файл, или воспользуйтесь командой Git:

     git clone https://github.com/ChaoyueSong/MagicArticulate.git
     

   • Распакуйте файлы в локальный каталог, например MagicArticulate/.
3. Настройка среды выполнения
   • Проверка версии Python: Убедитесь, что установлен Python 3.8+, команда:python --version.
   • Создание виртуальной среды(Рекомендуется):

     python -m venv magic_env
     source magic_env/bin/activate  # Linux/Mac
     magic_env\Scripts\activate    # Windows
     

   • Установка зависимостей: Перейдите в каталог проекта и запустите его:

     pip install -r requirements.txt
     

     Доступно, если поддерживается Conda:

     conda env create -f environment.yml
     conda activate magicarticulate
     

   • зависимость: В зависимости от README может потребоваться установка PyTorch или других библиотек для обеспечения поддержки GPU с целью повышения производительности.
4. Рамки запуска
   После завершения настройки запустите пример сценария (конкретные команды см. в документации на GitHub), например:

python main.py --input [3D模型路径] --output [输出路径]

Основные функции

Ниже приведены основные функции MagicArticulate и подробные инструкции:

1. использование набора данных Articulation-XL

• Функциональное описание33 000+ 3D-моделей с аннотациями суставов доступны для обучения или тестирования.
• процедура::

1. Найдите ссылку на скачивание набора данных на сайте или GitHub (может потребоваться разрешение).
2. Загрузите и распакуйте локально, например. data/articulation_xl/.
3. Измените конфигурационный файл или командную строку, чтобы указать путь:

python process.py --dataset_path data/articulation_xl/

4. После запуска загрузите набор данных и просмотрите результаты аннотирования, которые можно использовать для проверки или ввода данных в модель.

2. Автоматическое создание скелетных структур

• Функциональное описание: Автоматическое создание костей для статических 3D-моделей с учетом различных требований к суставам.
• процедура::

1. Подготовьте статическую 3D-модель (поддерживаются форматы OBJ, FBX и т.д.) и поместите ее в каталог ввода (например. input/).
2. Выполните команду создания костей:

python generate_skeleton.py --input input/model.obj --output output/

3. Проверьте выходной каталог (output/) для создания файлов моделей, содержащих кости.
4. Откройте его в Blender или Maya и проверьте, соответствуют ли кости требованиям анимации.

3. Прогнозирование веса кожи

• Функциональное описание: Генерируйте естественно деформированные веса кожи для моделей, содержащих кости.
• процедура::

1. Используйте файл модели, созданный в предыдущем шаге.
2. Запустите скрипт предсказания веса:

python predict_weights.py --input output/model_with_skeleton.obj --output output/

3. Выводит файлы моделей, содержащие веса, которые могут быть использованы непосредственно для привязки анимации.
4. Загрузите в 3D-программу и протестируйте эффекты анимации (например, ходьбу, вращение).

Сценарии применения и примеры работы

Быстрое прототипирование

• взять: Разработчикам игр необходимо быстро проверять анимацию персонажей.
• буровая установка: Загрузите модель персонажа (формат OBJ), запустите генерацию костей и предсказание веса, создайте прототип анимации ходьбы за 5 минут, импортируйте в Unity для тестирования.

Создание VR/AR-анимации

• взять: Генерация действий взаимодействия для виртуальных роботов.
• буровая установка: Ввод модели робота, генерация костей и весов, экспорт в инструменты разработки VR (например, Unreal Engine), привязка команд взаимодействия с пользователем.

Вспомогательные средства для кино- и видеоанимации

• взять: Создайте начальные анимации для фэнтезийных существ.
• буровая установка: Загрузите модель существа, запустите фреймворк для генерации костей и весов, импортируйте в Maya для тонкой настройки ключевых кадров и создайте анимацию для предварительного просмотра.

Советы и рекомендации

• Подготовка моделиУбедитесь, что входная модель представляет собой единый объект, чтобы избежать влияния сложных компонентов на результаты.
• оптимизация производительности: Работа на GPU может быть значительно быстрее, на CPU - медленнее.
• Корректировка результатов: Если кости или вес не идеальны, параметры (например, количество суставов) могут быть изменены, как описано в документации.
• Вопрос Обратная связь: Отправьте проблему на GitHub Issues или свяжитесь с разработчиком Chaoyue Song для получения поддержки.

С помощью этих шагов MagicArticulate поможет вам быстро преобразовать статичные 3D-модели в анимированные активы для всех типов пользователей - от новичков до профессиональных дизайнеров.