TripoSR: modelos rápidos de reconstrucción 3D de una sola imagen, modelado de texto a 3D de código abierto|modelado de imagen a 3D

Introducción general

TripoSR es un modelo de código abierto desarrollado conjuntamente por Tripo AI y Stability AI, diseñado para generar rápidamente modelos 3D de alta calidad a partir de una sola imagen. El modelo se basa en la arquitectura Large Reconstruction Model (LRM) y es capaz de generar mallas 3D en menos de 0,5 s. TripoSR supera a otras alternativas de código abierto en múltiples conjuntos de datos disponibles públicamente, ofreciendo velocidad y calidad para una amplia gama de dominios, como el entretenimiento, los juegos, el diseño industrial y la arquitectura.

Además de la implantación local, puede visitar el sitio web oficial de TRIPO para obtener una generación ilimitada de borradores y 10 créditos de texto a 3D e imagen a 3D de alta calidad al mes.

Sitio web oficial de TripoSR

TripoSR Generar 4 modelos 3D preseleccionados

 

Ejemplo de generación de TripoSR

Lista de funciones

• Reconstrucción 3D rápida: Genere modelos 3D de alta calidad a partir de una sola imagen en tan sólo 0,5 segundos.
• Alta calidad: Genera modelos 3D con alta resolución y detalle.
• código abiertoCódigo fuente completo y modelos preentrenados para mayor comodidad de investigadores y desarrolladores.
• Soporte multiplataformaCompatible con GPU y CPU para distintos entornos de hardware.
• Demostración en líneaFunción de demostración en línea: se ofrece una función de demostración en línea para que los usuarios puedan experimentar directamente la potencia del modelo.

Utilizar la ayuda

Proceso de instalación

1. Preparación medioambiental::
   • Asegúrese de que Python 3.8 o posterior está instalado.
   • Instale CUDA (si está disponible).
   • Instale PyTorch, asegurándose de que la versión de CUDA instalada localmente coincide con la versión de PyTorch.
2. Clonación del código base::

   git clone https://github.com/VAST-AI-Research/TripoSR.git
   cd TripoSR

3. Instalación de dependencias::

   pip install -r requirements.txt

Proceso de utilización

1. ejemplo de funcionamiento::

   python run.py examples/chair.png --output-dir output/

   Guarda el modelo 3D reconstruido en el archivooutput/Catálogo.

2. Aplicaciones nativas de Gradio::

   python gradio_app.py

   Al iniciar la aplicación Gradio local, los usuarios pueden cargar imágenes y generar modelos 3D a través de la interfaz web.

Pasos detallados

1. Preprocesamiento de imágenes::
   • Procesa la imagen de entrada en un array NumPy.
   • Las características se extraen mediante un codificador de imágenes.
2. Reconstrucción 3D::
   • Las características extraídas se introducen en la imagen para el descodificador de tres planos.
   • Predicción del color y la densidad mediante campos neuronales de radiación de tres planos.
3. Producción::
   • La malla 3D generada puede guardarse en diversos formatos para facilitar su uso y edición posteriores.

problemas comunes

• Error CUDASi encuentra errores relacionados con CUDA, asegúrese de que la versión de CUDA instalada localmente coincide con la versión de PyTorch.
• Fallo en la instalación de la dependenciaAsegúrese de que dispone de la última versión desetuptoolsy utilizarpip install --upgrade setuptoolsRealiza actualizaciones.