TripoSG: создание цифровых активов с высоким разрешением и 3D-моделированием на основе одного изображения

Общее введение

TripoSG - это проект с открытым исходным кодом, разработанный исследовательской группой VAST AI, который генерирует высококачественные 3D-модели из одного изображения. Проект использует крупномасштабную технологию выпрямительно-поточного преобразователя в сочетании с гибридным контролируемым обучением и высококачественными наборами данных для создания 3D-моделей с четкими геометрическими деталями и сложными структурами. TripoSG подходит не только для реальных изображений, но и может обрабатывать различные исходные данные, такие как мультфильмы и эскизы. Его код и предварительно обученные модели находятся в открытом доступе на GitHub и могут быть загружены и использованы любым желающим бесплатно. Цель этого инструмента - помочь исследователям, разработчикам и творцам легче создавать цифровые 3D-активы.

Список функций

• Генерируйте 3D-модели высокого разрешения из одного изображения, поддерживая несколько стилей ввода.
• Обеспечивает четкие геометрические характеристики и тонкую детализацию поверхности.
• Поддержка создания трехмерных форм для сложных топологий.
• Открытый исходный код и предварительно обученные модели, позволяющие пользователям свободно модифицировать и оптимизировать их.
• Использование крупных выпрямительно-поточных преобразователей обеспечивает стабильный и эффективный процесс генерации.

Использование помощи

TripoSG - это инструмент, требующий локальной установки и предназначенный для пользователей с определенной технической базой, таких как разработчики или исследователи. Ниже приведены подробные шаги по установке и использованию.

Процесс установки

1. Подготовка среды
   Перед использованием TripoSG необходимо убедиться, что на вашем компьютере установлена среда Python. Рекомендуется использовать Python версии 3.10 или выше. Проверить версию можно с помощью следующей команды:

python --version

Если он не установлен, его можно загрузить с сайта https://www.python.org.

2. проект клонирования
   Откройте терминал и введите следующую команду, чтобы загрузить проект TripoSG локально:

git clone https://github.com/VAST-AI-Research/TripoSG.git

После завершения загрузки перейдите в папку с проектом:

cd TripoSG

3. Установка PyTorch
   TripoSG требует поддержки PyTorch. Перейдите на сайт https://pytorch.org/get-started/locally/ и выберите версию, соответствующую вашей операционной системе и видеокарте (с поддержкой CUDA или без). Например, если у вас видеокарта NVIDIA и поддерживается CUDA 11.8, вы можете запустить его:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

Если у вас нет видеокарты, вы можете установить версию для процессора:

pip install torch torchvision

4. Установка зависимостей
   Проект предусматривает requirements.txt файл, в котором перечислены все необходимые библиотеки. Запустите его в терминале:

pip install -r requirements.txt

Это автоматически установит необходимые наборы инструментов, такие как transformers и trimesh.

5. Проверка установки
   После завершения установки вы можете запустить простую тестовую команду, чтобы убедиться, что среда работает:

python -c "import torch; print(torch.__version__)"

Если номер версии выведен, установка прошла успешно.

Использование

Основная функция TripoSG - генерировать 3D-модели из изображений. Вот шаги.

Подготовка входного изображения

В качестве исходного материала вам нужно четкое изображение, например, в формате PNG или JPG. Содержимым изображения может быть реальный объект, персонаж мультфильма или нарисованный от руки эскиз. Убедитесь, что изображение имеет простой фон для лучшей генерации.

Выполните команду generate

1. Поместите файл изображения в папку проекта TripoSG или запомните путь к файлу.
2. Выполните следующую команду в терминале:

python run.py --image 你的图像路径 --output-dir 输出文件夹

Например:

python run.py --image ./example.png --output-dir ./output

• --image Указывает путь к входному изображению.
• --output-dir Укажите место сохранения 3D-модели, по умолчанию это output/.

3. Дождитесь генерации. Процесс может занять несколько минут, в зависимости от производительности вашего компьютера и сложности изображения. По окончании вы увидите сгенерированный файл 3D-модели (обычно в формате OBJ) в выходной папке.

Параметры настройки (опция)

TripoSG поддерживает некоторые настройки параметров для создания эффектов. Например:

• --mc-resolution: Устанавливает разрешение сетки, по умолчанию 256. Большие значения приводят к большей детализации, но увеличивают время вычислений.

python run.py --image ./example.png --mc-resolution 512 --output-dir ./output

• --bake-texture: Генерируйте карты текстур вместо вершинных цветов.

python run.py --image ./example.png --bake-texture --texture-resolution 2048 --output-dir ./output

Посмотреть результаты

Созданную 3D-модель можно открыть в таких программах, как Blender или MeshLab. В Blender нажмите "Файл > Импорт > Wavefront (.obj)", чтобы загрузить модель и проверить детали и текстуры.

Часто задаваемые вопросы

• Если вы получаете сообщение об отсутствии поддержки CUDA, убедитесь, что версия CUDA в PyTorch соответствует драйверу видеокарты вашего компьютера.
• Если генерация не удалась, проверьте, соответствует ли образ требованиям, или попробуйте обновить зависимые библиотеки:

pip install --upgrade -r requirements.txt

Расширенное использование

TripoSG имеет открытый исходный код, и вы можете изменять его для удовлетворения конкретных потребностей. Например, для настройки параметров модели или добавления новых возможностей. Документация по проекту находится на GitHub по адресу README.md, подробно описывающий структуру кода и методы внесения вклада.

сценарий применения

1. разработка игр
   Разработчики могут использовать TripoSG для быстрого создания 3D-моделей на основе концептуальных чертежей, что экономит время моделирования.
2. 3D-печать
   Создатели могут вводить эскизы для создания печатных 3D-файлов, которые можно использовать для создания физических моделей.
3. Образовательные исследования
   Студенты и исследователи могут использовать его для изучения методов преобразования изображений в трехмерное пространство и изучения использования искусственного интеллекта в моделировании.
4. анимация
   Аниматоры могут генерировать модели персонажей, используя мультяшные изображения, чтобы ускорить процесс подготовки к работе.

QA

1. Какие форматы изображений поддерживает TripoSG?
   Поддерживаются распространенные форматы изображений, такие как PNG и JPG. Для достижения лучших результатов рекомендуется использовать изображения с более высоким разрешением.
2. Нужна видеокарта?
   Не обязательно. Вы можете запустить ее на процессоре без видеокарты, но с графикой NVIDIA она будет быстрее.
3. Имеется ли созданная модель в продаже?
   Да. TripoSG использует лицензию MIT, которая разрешает свободное использование и модификацию при условии, что уведомление об авторских правах сохранено.
4. Почему полученные результаты неудовлетворительны?
   Возможно, фон изображения слишком сложный или разрешение слишком низкое. Попробуйте упростить фон или улучшить качество изображения.