TripoSR: Быстрые модели 3D-реконструкции одного изображения, открытый исходный текст для 3D-моделирования|Image to 3D Modelling

Общее введение

TripoSR - это модель с открытым исходным кодом, разработанная совместно компаниями Tripo AI и Stability AI и предназначенная для быстрого создания высококачественных 3D-моделей по одному изображению. Модель основана на архитектуре Large Reconstruction Model (LRM) и способна генерировать 3D-сетки менее чем за 0,5 с. TripoSR превосходит другие альтернативы с открытым исходным кодом на нескольких общедоступных наборах данных, предлагая скорость и качество для широкого спектра областей, включая развлечения, игры, промышленный дизайн и архитектуру.

Помимо локального развертывания, вы можете посетить официальный сайт TRIPO и получить неограниченное количество черновиков и 10 высококачественных кредитов "текст в 3D" и "изображение в 3D" в месяц.

Официальный сайт TripoSR

TripoSR Генерирует 4 предварительно выбранные 3D-модели

 

Пример генерации TripoSR

Список функций

• Быстрая 3D реконструкция: Создавайте высококачественные 3D-модели из одного изображения всего за 0,5 секунды.
• Высокое качество продукции: Создание 3D-моделей с высоким разрешением и детализацией.
• открытый исходный кодДля удобства исследователей и разработчиков предоставляется полный исходный код и предварительно обученные модели.
• Поддержка нескольких платформ: Поддерживает работу на GPU и CPU для различных аппаратных сред.
• Онлайн-демонстрация: Предусмотрена функция онлайн-демонстрации, чтобы пользователи могли непосредственно испытать возможности модели.

Использование помощи

Процесс установки

1. Подготовка к защите окружающей среды::
   • Убедитесь, что установлена версия Python 3.8 или более поздняя.
   • Установите CUDA (если доступна).
   • Установите PyTorch, убедившись, что локально установленная версия CUDA совпадает с версией PyTorch.
2. Клонирование кодовой базы::

   git clone https://github.com/VAST-AI-Research/TripoSR.git
   cd TripoSR

3. Установка зависимостей::

   pip install -r requirements.txt

Процесс использования

1. пример работы::

   python run.py examples/chair.png --output-dir output/

   При этом реконструированная 3D-модель сохраняется в файлеoutput/Каталог.

2. Нативные приложения Gradio::

   python gradio_app.py

   Запустив локальное приложение Gradio, пользователи могут загружать изображения и генерировать 3D-модели через веб-интерфейс.

Подробные шаги

1. Предварительная обработка изображений::
   • Обработка входного изображения в массив NumPy.
   • Характеристики извлекаются с помощью кодировщика изображений.
2. 3D-реконструкция::
   • Извлеченные признаки подаются на изображение для трехплоскостного декодера.
   • Прогнозирование цвета и плотности с помощью трехплоскостных нейронных полей излучения.
3. Генерация выходного сигнала::
   • Созданная 3D-сетка может быть сохранена в различных форматах для удобства последующего использования и редактирования.

общие проблемы

• Ошибка CUDA: Если вы столкнулись с ошибками, связанными с CUDA, убедитесь, что локально установленная версия CUDA совпадает с версией PyTorch.
• Установка зависимостей не удалась: Убедитесь, что у вас последняя версияsetuptoolsи использоватьpip install --upgrade setuptoolsВыполните обновление.