TripoSR: Modelos rápidos de reconstrução 3D de imagem única, texto de código aberto para modelagem 3D|Imagem para modelagem 3D

Introdução geral

O TripoSR é um modelo de código aberto desenvolvido em conjunto pela Tripo AI e pela Stability AI, projetado para gerar rapidamente modelos 3D de alta qualidade a partir de uma única imagem. O modelo é baseado na arquitetura Large Reconstruction Model (LRM) e é capaz de gerar malhas 3D em menos de 0,5 s. O TripoSR supera outras alternativas de código aberto em vários conjuntos de dados disponíveis publicamente, oferecendo velocidade e qualidade para uma ampla gama de domínios, incluindo entretenimento, jogos, design industrial e arquitetura.

Além da implantação local, você pode visitar o site oficial da TRIPO para obter geração ilimitada de rascunhos e 10 créditos de texto para 3D e imagem para 3D de alta qualidade por mês.

Site oficial da TripoSR

TripoSR Gerar 4 modelos 3D pré-selecionados

 

Exemplo de geração TripoSR

Lista de funções

• Reconstrução 3D rápidaGeração de modelos 3D de alta qualidade a partir de uma única imagem em apenas 0,5 segundos.
• Saída de alta qualidadeGeração de modelos 3D com alta resolução e detalhes.
• código abertoCódigo-fonte completo e modelos pré-treinados são fornecidos para a conveniência de pesquisadores e desenvolvedores.
• Suporte a várias plataformasSuporte à operação de GPU e CPU para diferentes ambientes de hardware.
• Demonstração on-lineDemonstração on-line: Uma função de demonstração on-line é fornecida para que os usuários possam experimentar diretamente o poder do modelo.

Usando a Ajuda

Processo de instalação

1. Preparação ambiental::
   • Certifique-se de que o Python 3.8 ou posterior esteja instalado.
   • Instale o CUDA (se disponível).
   • Instale o PyTorch, certificando-se de que a versão do CUDA instalada localmente corresponda à versão do PyTorch.
2. Clonagem da base de código::

   git clone https://github.com/VAST-AI-Research/TripoSR.git
   cd TripoSR

3. Instalação de dependências::

   pip install -r requirements.txt

Processo de uso

1. exemplo de execução::

   python run.py examples/chair.png --output-dir output/

   Isso salva o modelo 3D reconstruído no arquivosaída/Catálogo.

2. Aplicativos nativos do Gradio::

   python gradio_app.py

   O lançamento do aplicativo Gradio local permite que os usuários façam upload de imagens e gerem modelos 3D por meio da interface da Web.

Etapas detalhadas

1. Pré-processamento de imagens::
   • Processa a imagem de entrada em uma matriz NumPy.
   • Os recursos são extraídos usando um codificador de imagem.
2. Reconstrução 3D::
   • Os recursos extraídos são inseridos na imagem para o decodificador de três planos.
   • Previsão de cor e densidade usando campos de radiação neural de três planos.
3. Geração de saída::
   • A malha 3D gerada pode ser salva em uma variedade de formatos para facilitar o uso e a edição posteriores.

problemas comuns

• Erro CUDASe você encontrar erros relacionados ao CUDA, verifique se a versão do CUDA instalada localmente corresponde à versão do PyTorch.
• Falha na instalação da dependênciaVerifique se você tem a versão mais recente doferramentas de configuraçãoe usarpip install --upgrade setuptoolsRealizar upgrades.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>