Hunyuan3D-2: herramienta de código abierto de Tencent para la generación de modelos 3D de alta resolución

Introducción general

Hunyuan3D-2 es un proyecto de código abierto desarrollado por Tencent, cuyo objetivo es generar modelos 3D de alta resolución a partir de texto o imágenes. Consta de dos componentes básicos: modelo de generación de formas (Hunyuan3D-DiT) y modelo de generación de texturas (Hunyuan3D-Paint). Los usuarios pueden introducir descripciones de texto o subir imágenes para generar activos digitales 3D con texturas detalladas. La herramienta está disponible gratuitamente en GitHub con código y modelos preentrenados, y la última versión se actualizó el 18 de marzo de 2025. Admite varios modelos, incluida una versión rápida y una versión mini para distintos dispositivos.Hunyuan3D-2 se utiliza ampliamente en el desarrollo de juegos, el arte digital y la investigación.

Lista de funciones

• Soporte para generar modelos 3D a partir de texto, los usuarios pueden introducir una descripción para generar la geometría correspondiente.
• Soporte para generar modelos 3D a partir de imágenes y generar activos 3D con texturas tras cargar imágenes.
• Proporciona una salida de alta resolución con detalles nítidos en los modelos y colores vibrantes en las texturas.
• Contiene el modelo de generación de formas (Hunyuan3D-DiT), responsable de generar la geometría subyacente.
• Incluye modelo de generación de texturas (Hunyuan3D-Paint) para añadir texturas de alta resolución al modelo.
• Soporta la generación multivista (Hunyuan3D-2mv) para optimizar el modelo desde múltiples perspectivas.
• Existe una versión mini del modelo (Hunyuan3D-2mini), con sólo 600 millones de parámetros y un funcionamiento más rápido.
• Admite una versión rápida del modelo (Fast), que reduce a la mitad el tiempo de inferencia y lo hace más eficiente.
• Blender puede integrarse para generar y editar modelos 3D directamente a través del plug-in.
• Código fuente abierto y modelos que los usuarios pueden descargar y modificar libremente.

Utilizar la ayuda

Hunyuan3D-2 es una potente herramienta que requiere algunas bases de hardware y programación. A continuación se ofrece una guía detallada de instalación y uso para ayudar a los usuarios a iniciarse rápidamente.

Proceso de instalación

1. Preparación de entornos de hardware y software
   • Requiere una GPU NVIDIA compatible con CUDA y al menos 6 GB (Mini) o 12 GB (Estándar) de memoria de vídeo.
   • Instale Python 3.9 o posterior.
   • Instala Git para descargar código.
2. Descargar código y modelos
   • Se ejecuta en el terminal:

     git clone https://github.com/Tencent/Hunyuan3D-2.git
     cd Hunyuan3D-2
     

   • Descargue el modelo preentrenado de Hugging Face:

     huggingface-cli download tencent/Hunyuan3D-2 --local-dir ./weights
     

3. Instalación de dependencias
   • Instale las dependencias básicas:

     pip install -r requirements.txt
     

   • Instala módulos adicionales para la generación de texturas:

     cd hy3dgen/texgen/custom_rasterizer
     python3 setup.py install
     cd ../../..
     cd hy3dgen/texgen/differentiable_renderer
     python3 setup.py install
     

   • Se puede instalar opcionalmente la aceleración Flash Attention:

     pip install ninja
     pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
     

4. Verificar la instalación
   • Ejecute el código de ejemplo:

     python minimal_demo.py
     

   • Si el modelo se exporta correctamente, la instalación habrá finalizado.

Funciones principales

1. Generación de modelos 3D a partir de imágenes

• mover::
  • Prepara una imagen (por ejemplo demo.png), situado en el assets Carpeta.
  • Generar la forma base:

    from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
    from PIL import Image
    pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
    image = Image.open('assets/demo.png')
    mesh = pipeline(image=image, num_inference_steps=30)[0]
    mesh.export('output.glb')
    

  • Añade textura:

    from hy3dgen.texgen import Hunyuan3DPaintPipeline
    pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
    mesh = pipeline(mesh, image=image)
    mesh.export('textured.glb')
    

• al final: Genera un modelo 3D con texturas, guarda como .glb Documentación.

2. Generación de modelos 3D a partir de texto

• mover::
  • Instala el módulo de conversión de texto en imagen (HunyuanDiT):

    huggingface-cli download Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir ./weights/hunyuanDiT
    

  • Ejecuta el código:

    from hy3dgen.text2image import HunyuanDiTPipeline
    from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline
    t2i = HunyuanDiTPipeline('Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled')
    i23d = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
    image = t2i('a cute rabbit')
    mesh = i23d(image, num_inference_steps=30)[0]
    mesh.export('rabbit.glb')
    

• al final: Genera modelos 3D a partir de texto.

3. Uso de la interfaz de Gradio

• mover::
  • Ejecute la aplicación Gradio:

    python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2
    

  • Abra su navegador y visite la dirección local indicada.
  • Cargue una imagen o introduzca un texto y haga clic en Generar.
• al final: Genere modelos a través de una interfaz web sin escribir código.

4. Utilización de los servicios API

• mover::
  • Inicie el servidor API:

    python api_server.py --host 0.0.0.0 --port 8080
    

  • Enviar una solicitud para generar un modelo:

    img_b64_str=$(base64 -i assets/demo.png)
    curl -X POST "http://localhost:8080/generate" \
    -H "Content-Type: application/json" \
    -d '{"image": "'"$img_b64_str"'"}' \
    -o test.glb
    

• al finalGeneración de modelos 3D mediante API.

5. Utilización del plug-in Blender

• montaje::
  • descargando blender_addon.py Documentación.
  • Abre Blender e instálalo y habilítalo en Edición > Preferencias > Plugins.
• plataforma::
  • Inicie el servidor API (véase más arriba).
  • Busca "Hunyuan3D-2" en la barra lateral de Blender.
  • Introduzca texto o cargue una imagen y haga clic en Generar.
• al final: Genera y edita modelos directamente en Blender.

Función destacada Operación

Generación multivista (Hunyuan3D-2mv)

• Usa el comando:

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mv', subfolder='hunyuan3d-dit-v2-mv')
mesh = pipeline(image=Image.open('assets/demo.png'))[0]
mesh.export('mv_model.glb')

• Ideal para escenas que requieren un modelado preciso desde múltiples ángulos.

Generación rápida (Hunyuan3D-2mini)

• Usa el comando:

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2mini', subfolder='hunyuan3d-dit-v2-mini')
mesh = pipeline(image=Image.open('assets/demo.png'))[0]
mesh.export('mini_model.glb')

• Rápido y adecuado para dispositivos de baja configuración.

advertencia

• Asegúrese de que el controlador de la GPU es compatible con la versión de CUDA para evitar errores de ejecución.
• adaptar num_inference_steps Los parámetros pueden optimizarse para mejorar la calidad de la generación.
• Si tienes problemas, pide ayuda en GitHub Issues o Discord (https://discord.gg/dNBrdrGGMa).

escenario de aplicación

1. desarrollo de juegos
   Los desarrolladores pueden utilizarlo para generar rápidamente modelos de personajes o accesorios en el juego, reduciendo el tiempo de modelado manual.
2. arte digital
   Los artistas generan ilustraciones en 3D a partir de texto o imágenes para producciones creativas o NFT.
3. diseño de productos
   Los diseñadores cargan imágenes de los productos para generar modelos 3D con los que mostrar o probar prototipos.
4. Investigación educativa
   Estudiantes e investigadores lo utilizan para explorar técnicas de 3D generadas por IA y validar modelos de difusión.

CONTROL DE CALIDAD

1. ¿Cuáles son los requisitos mínimos de hardware?
   El Mini requiere 6 GB de memoria de vídeo y el Estándar, 12 GB, con una GPU NVIDIA recomendada.
2. ¿Está disponible en el mercado?
   La versión de código abierto es sólo para uso no comercial. Para uso comercial, póngase en contacto con para obtener autorización.
3. ¿Cuánto se tarda en generar un modelo?
   Unos 30 segundos para la versión rápida y 1-2 minutos para la versión estándar, dependiendo del hardware y la configuración.