Hunyuan3D-2: инструмент Tencent для создания 3D-моделей высокого разрешения с открытым исходным кодом

Общее введение

Hunyuan3D-2 - это проект с открытым исходным кодом, разработанный компанией Tencent и предназначенный для создания 3D-моделей высокого разрешения из текста или изображений. Он состоит из двух основных компонентов: модели генерации форм (Hunyuan3D-DiT) и модели генерации текстур (Hunyuan3D-Paint). Пользователи могут вводить текстовые описания или загружать изображения для создания цифровых 3D-активов с детализированными текстурами. Инструмент находится в свободном доступе на GitHub с кодом и предварительно обученными моделями, а последняя версия была обновлена 18 марта 2025 года. Он поддерживает несколько моделей, включая быструю версию и мини-версию для различных устройств.Hunyuan3D-2 широко используется в разработке игр, цифровом искусстве и исследованиях.

Список функций

• Поддержка генерации 3D-моделей из текста, пользователи могут ввести описание, чтобы сгенерировать соответствующую геометрию.
• Поддержка генерации 3D-моделей из изображений и генерации 3D-активов с текстурами после загрузки изображений.
• Обеспечивает высокое разрешение изображения с четкой детализацией моделей и яркими цветами текстур.
• Содержит модель генерации фигур (Hunyuan3D-DiT), которая отвечает за генерацию базовой геометрии.
• Включает модель генерации текстур (Hunyuan3D-Paint) для добавления текстур высокого разрешения к модели.
• Поддержка многоракурсной генерации (Hunyuan3D-2mv) для оптимизации модели с нескольких точек зрения.
• Представлена мини-версия модели (Hunyuan3D-2mini), имеющая всего 0,6 млрд параметров и более быструю работу.
• Поддерживает быструю версию модели (Fast), которая вдвое сокращает время вывода и делает его более эффективным.
• Blender можно интегрировать для создания и редактирования 3D-моделей непосредственно через плагин.
• Открытый исходный код и модели, которые пользователи могут свободно загружать и изменять.

Использование помощи

Hunyuan3D-2 - это мощный инструмент, требующий определенной аппаратной базы и навыков программирования. Ниже представлено подробное руководство по установке и использованию, которое поможет пользователям быстро начать работу.

Процесс установки

1. Подготовка аппаратной и программной среды
   • Требуется графический процессор NVIDIA с поддержкой CUDA и не менее 6 ГБ (Mini) или 12 ГБ (Standard) видеопамяти.
   • Установите Python 3.9 или более позднюю версию.
   • Установите Git для загрузки кода.
2. Загрузить код и модели
   • Запускается в терминале:

     git clone https://github.com/Tencent/Hunyuan3D-2.git
     cd Hunyuan3D-2
     

   • Загрузите предварительно обученную модель из Hugging Face:

     huggingface-cli download tencent/Hunyuan3D-2 --local-dir ./weights
     

3. Установка зависимостей
   • Установите основные зависимости:

     pip install -r requirements.txt
     

   • Устанавливает дополнительные модули для генерации текстур:

     cd hy3dgen/texgen/custom_rasterizer
     python3 setup.py install
     cd ../../..
     cd hy3dgen/texgen/differentiable_renderer
     python3 setup.py install
     

   • Дополнительно можно установить ускоритель Flash Attention:

     pip install ninja
     pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
     

4. Проверка установки
   • Запустите код примера:

     python minimal_demo.py
     

   • Если модель успешно экспортирована, установка завершена.

Основные функции

1. Создание 3D-моделей из изображений

• перейти::
  • Подготовьте картинку (например. demo.png), помещенный в assets Папка.
  • Создайте базовую форму:

    from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
    from PIL import Image
    pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
    image = Image.open('assets/demo.png')
    mesh = pipeline(image=image, num_inference_steps=30)[0]
    mesh.export('output.glb')
    

  • Добавьте текстуру:

    from hy3dgen.texgen import Hunyuan3DPaintPipeline
    pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
    mesh = pipeline(mesh, image=image)
    mesh.export('textured.glb')
    

• в конце концов: Создайте 3D-модель с текстурами, сохраните как .glb Документация.

2. Генерация 3D-моделей из текста

• перейти::
  • Установите модуль преобразования текста в изображение (HunyuanDiT):

    huggingface-cli download Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir ./weights/hunyuanDiT
    

  • Запустите код:

    from hy3dgen.text2image import HunyuanDiTPipeline
    from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
    t2i = HunyuanDiTPipeline('Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled')
    i23d = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
    image = t2i('a cute rabbit')
    mesh = i23d(image, num_inference_steps=30)[0]
    mesh.export('rabbit.glb')
    

• в конце концов: Создание 3D-моделей из текста.

3. Использование интерфейса Gradio

• перейти::
  • Запустите приложение Gradio:

    python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2
    

  • Откройте браузер и перейдите по предложенному локальному адресу.
  • Загрузите изображение или введите текст и нажмите кнопку "Создать".
• в конце концов: Генерируйте модели через веб-интерфейс без написания кода.

4. использование сервисов API

• перейти::
  • Запустите сервер API:

    python api_server.py --host 0.0.0.0 --port 8080
    

  • Отправьте запрос на генерацию модели:

    img_b64_str=$(base64 -i assets/demo.png)
    curl -X POST "http://localhost:8080/generate" \
    -H "Content-Type: application/json" \
    -d '{"image": "'"$img_b64_str"'"}' \
    -o test.glb
    

• в конце концов: Генерация 3D-моделей через API.

5. Использование плагина Blender

• монтаж::
  • загрузка blender_addon.py Документация.
  • Откройте Blender, установите и включите его в меню Edit > Preferences > Plugins.
• буровая установка::
  • Запустите сервер API (см. выше).
  • Найдите "Hunyuan3D-2" в боковой панели Blender.
  • Введите текст или загрузите изображение и нажмите кнопку Создать.
• в конце концов: Генерируйте и редактируйте модели непосредственно в Blender.

Функциональное управление

Генерация нескольких видов (Hunyuan3D-2mv)

• Используйте команду:

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mv', subfolder='hunyuan3d-dit-v2-mv')
mesh = pipeline(image=Image.open('assets/demo.png'))[0]
mesh.export('mv_model.glb')

• Идеально подходит для сцен, требующих точного моделирования с разных ракурсов.

Быстрая генерация (Hunyuan3D-2mini)

• Используйте команду:

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mini', subfolder='hunyuan3d-dit-v2-mini')
mesh = pipeline(image=Image.open('assets/demo.png'))[0]
mesh.export('mini_model.glb')

• Быстрый и подходит для устройств с низкой конфигурацией.

предостережение

• Убедитесь, что драйвер GPU совместим с версией CUDA, чтобы избежать ошибок во время выполнения.
• адаптировать num_inference_steps Параметры могут быть оптимизированы для обеспечения качества генерации.
• Если у вас возникли проблемы, обратитесь за помощью в GitHub Issues или Discord (https://discord.gg/dNBrdrGGMa).

сценарий применения

1. разработка игр
   Разработчики могут использовать его для быстрого создания моделей игровых персонажей и реквизита, сокращая время ручного моделирования.
2. цифровое искусство
   Художники создают 3D-изображения из текста или изображений для творческих целей или для производства NFT.
3. дизайн продукта
   Дизайнеры загружают изображения продуктов, чтобы создать 3D-модели для демонстрации или тестирования прототипов.
4. Образовательные исследования
   Студенты и исследователи используют его для изучения методов создания трехмерных изображений с помощью искусственного интеллекта и проверки моделей диффузии.

QA

1. Каковы минимальные требования к оборудованию?
   Для Mini требуется 6 ГБ видеопамяти, а для Standard - 12 ГБ, при этом рекомендуется использовать графический процессор NVIDIA.
2. Есть ли он в продаже?
   Версия с открытым исходным кодом предназначена только для некоммерческого использования. Для коммерческого использования, пожалуйста, свяжитесь с для получения разрешения.
3. Сколько времени требуется для создания модели?
   Около 30 секунд для быстрой версии и 1-2 минуты для стандартной версии, в зависимости от оборудования и настроек.