TRELLIS: разработанная Microsoft модель создания 3D-активов с поддержкой различных форматов и возможностью гибкого редактирования

Общее введение

TRELLIS - это крупномасштабная модель генерации 3D-активов, разработанная компанией Microsoft. Она способна принимать текстовые или графические сигналы и генерировать высококачественные 3D-активы в различных форматах, таких как радиальные поля, 3D-гауссианы и сетки. В основе TRELLIS лежит унифицированное представление структурированных скрытых переменных (SLAT), которое позволяет декодировать его в различные выходные форматы и подкрепляется надежностью выпрямительно-поточных трансформаторов, разработанных специально для SLAT. Предварительно обученная на большом наборе данных 3D-активов, содержащем 500 000 разнообразных объектов, модель значительно превосходит существующие методы, демонстрируя гибкий выбор выходного формата и собственные возможности 3D-редактирования.

Список функций

• Высококачественная генерация: генерируйте разнообразные 3D-объекты со сложными формами и текстурами.
• Универсальность: Получайте текстовые или графические подсказки для создания различных 3D-представлений, включая радиальные поля, 3D-гауссианы и сетки.
• Гибкое редактирование: позволяет легко редактировать сгенерированные 3D-активы, например, создавать варианты одного и того же объекта или локально редактировать 3D-активы.

Использование помощи

Процесс установки

1. предварительное условие::
   • Рекомендуется для запуска кода на Linux, на других платформах не тестировалось.
   • Для управления зависимостями рекомендуется использовать Conda.
   • Требуется Python 3.8 или выше.
   • Требуется графический процессор NVIDIA с 16 ГБ или более оперативной памяти, код был протестирован на графических процессорах NVIDIA A100 и A6000.
   • Требуется инструментарий CUDA для компиляции определенных субмодулей, код был протестирован на CUDA 11.8 и 12.2.
2. Этапы установки::
   • Клонирование репозитория:

     git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
     cd TRELLIS
     

   • Установите зависимости:

     . ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
     

Процесс использования

1. Загрузка предварительно обученных моделей::

   from trellis.pipelines import TrellisImageTo3DPipeline
   pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
   pipeline.cuda()
   

2. Загрузите изображение и запустите конвейер::

   from PIL import Image
   image = Image.open("assets/example_image/T.png")
   outputs = pipeline.run(image, seed=1)
   

3. выходной сигнал рендеринга::

   from trellis.utils import render_utils
   video = render_utils.render_video(outputs['gaussian'][0])['color']
   

4. Сохранить результаты::

   import imageio
   imageio.mimsave("sample_gs.mp4", video, fps=30)