TripoSG: generación de activos digitales modelados en 3D de alta resolución a partir de una sola imagen

Introducción general

TripoSG es un proyecto de código abierto desarrollado por el equipo de investigación VAST AI que genera modelos 3D de alta calidad a partir de una sola imagen. El proyecto utiliza tecnología de convertidor rectificador-flujo a gran escala, combinada con entrenamiento híbrido supervisado y conjuntos de datos de alta calidad, para producir modelos 3D con detalles geométricos claros y estructuras complejas.TripoSG no solo es adecuado para imágenes de estilo real, sino que también puede manejar entradas diversas como dibujos animados y bocetos. Su código y los modelos preentrenados están disponibles en GitHub y cualquiera puede descargarlos y utilizarlos gratuitamente. El objetivo de esta herramienta es ayudar a investigadores, desarrolladores y creadores a crear activos digitales 3D más fácilmente.

Lista de funciones

• Genere modelos 3D de alta resolución a partir de una sola imagen, con soporte para múltiples estilos de entrada.
• Proporciona características geométricas claras y detalles finos de la superficie.
• Admite la generación de formas 3D para topologías complejas.
• Código fuente abierto y modelos preentrenados, lo que permite a los usuarios modificarlos y optimizarlos libremente.
• El uso de convertidores rectificador-flujo a gran escala garantiza un proceso de generación estable y eficiente.

Utilizar la ayuda

TripoSG es una herramienta que requiere instalación local y está dirigida a usuarios con cierta base técnica, como desarrolladores o investigadores. A continuación se detallan los pasos de instalación y uso.

Proceso de instalación

1. Preparar el entorno
   Antes de utilizar TripoSG, debe asegurarse de que dispone de un entorno Python en su ordenador. Se recomienda Python 3.10 o superior. Puede comprobar la versión con el siguiente comando:

python --version

Si no está instalado, puede descargarse de https://www.python.org.

2. proyecto de clonación
   Abra un terminal e introduzca el siguiente comando para descargar el proyecto TripoSG localmente:

git clone https://github.com/VAST-AI-Research/TripoSG.git

Una vez finalizada la descarga, vaya a la carpeta del proyecto:

cd TripoSG

3. Instalación de PyTorch
   TripoSG requiere soporte para PyTorch. Vaya a https://pytorch.org/get-started/locally/ y elija la versión adecuada para su sistema operativo y tarjeta gráfica (soporte CUDA o no). Por ejemplo, si tienes una tarjeta gráfica NVIDIA y soportas CUDA 11.8, puedes ejecutarlo:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

Si no tienes tarjeta gráfica, puedes instalar la versión para CPU:

pip install torch torchvision

4. Instalación de dependencias
   El proyecto ofrece un requirements.txt que enumera todas las bibliotecas necesarias. Ejecútalo en un terminal:

pip install -r requirements.txt

Esto instalará automáticamente los conjuntos de herramientas necesarios, como transformadores y trimesh.

5. Verificar la instalación
   Una vez finalizada la instalación, puede ejecutar un sencillo comando de prueba para asegurarse de que el entorno funciona:

python -c "import torch; print(torch.__version__)"

Si se muestra el número de versión, la instalación se ha realizado correctamente.

Utilización

La función principal de TripoSG es generar modelos 3D a partir de imágenes. Estos son los pasos.

Preparación de la imagen de entrada

Necesita una imagen clara como entrada, por ejemplo en formato PNG o JPG. El contenido de la imagen puede ser un objeto real, un personaje de dibujos animados o un boceto dibujado a mano. Asegúrese de que la imagen tenga un fondo sencillo para una mejor generación.

Ejecute el comando generate

1. Coloque el archivo de imagen en la carpeta del proyecto TripoSG, o recuerde la ruta del archivo.
2. Ejecute el siguiente comando en el terminal:

python run.py --image 你的图像路径 --output-dir 输出文件夹

Por ejemplo:

python run.py --image ./example.png --output-dir ./output

• --image Especifica la ruta de la imagen de entrada.
• --output-dir Especifique dónde guardar el modelo 3D, el valor predeterminado es output/.

3. Espere a que se genere. El proceso puede tardar unos minutos, dependiendo del rendimiento de su ordenador y de la complejidad de la imagen. Cuando termine, verá el archivo del modelo 3D generado (normalmente en formato OBJ) en la carpeta de salida.

Parámetros de ajuste (opcional)

TripoSG admite algunos ajustes de parámetros para generar efectos. Por ejemplo:

• --mc-resolution: Establece la resolución de la malla, por defecto es 256. Valores mayores resultan en más detalle, pero tiempos de computación más largos.

python run.py --image ./example.png --mc-resolution 512 --output-dir ./output

• --bake-texture: Genera mapas de texturas en lugar de colores de vértices.

python run.py --image ./example.png --bake-texture --texture-resolution 2048 --output-dir ./output

Ver resultados

El modelo 3D generado puede abrirse en programas como Blender o MeshLab. En Blender, haga clic en "Archivo > Importar > Wavefront (.obj)" para cargar el modelo y comprobar los detalles y las texturas.

Preguntas frecuentes

• Si se le pregunta por la falta de compatibilidad con CUDA, asegúrese de que la versión de CUDA de PyTorch coincide con el controlador de la tarjeta gráfica de su ordenador.
• Si la generación falla, compruebe si la imagen cumple los requisitos o intente actualizar las bibliotecas dependientes:

pip install --upgrade -r requirements.txt

Uso avanzado

TripoSG es de código abierto y usted puede modificar el código para satisfacer necesidades específicas. Por ejemplo, para ajustar los parámetros del modelo o añadir nuevas funciones. La documentación del proyecto está en GitHub en README.mden el que se detallan la estructura del código y los métodos de contribución.

escenario de aplicación

1. desarrollo de juegos
   Los desarrolladores pueden utilizar TripoSG para generar rápidamente modelos 3D a partir de dibujos conceptuales, ahorrando tiempo de modelado.
2. Impresión 3D
   Los creadores pueden introducir bocetos de diseño para generar archivos 3D imprimibles que pueden utilizarse para crear modelos físicos.
3. Investigación educativa
   Estudiantes e investigadores pueden utilizarlo para explorar técnicas de conversión de imágenes en 3D y aprender a utilizar la IA en la modelización.
4. animación
   Los animadores pueden generar modelos de personajes utilizando imágenes de dibujos animados para acelerar el proceso de preproducción.

CONTROL DE CALIDAD

1. ¿Qué formatos de imagen admite TripoSG?
   Se admiten formatos de imagen habituales, como PNG y JPG. Se recomienda utilizar imágenes de mayor resolución para obtener mejores resultados.
2. ¿Necesita una tarjeta de vídeo?
   No necesariamente. Puedes ejecutarlo en una CPU sin tarjeta gráfica, pero será más rápido con una tarjeta NVIDIA.
3. ¿Está disponible comercialmente el modelo generado?
   Sí. TripoSG utiliza la licencia MIT, que permite su uso y modificación libres, siempre que se conserve el aviso de copyright.
4. ¿Por qué son insatisfactorios los resultados generados?
   Puede que el fondo de la imagen sea demasiado complejo o que la resolución sea demasiado baja. Prueba a simplificar el fondo o a mejorar la calidad de la imagen.