TripoSG: geração de ativos digitais modelados em 3D de alta resolução a partir de uma única imagem

Introdução geral

O TripoSG é um projeto de código aberto desenvolvido pela equipe de pesquisa VAST AI que gera modelos 3D de alta qualidade a partir de uma única imagem. O projeto usa a tecnologia de conversor de fluxo retificador em larga escala, combinada com treinamento supervisionado híbrido e conjuntos de dados de alta qualidade, para produzir modelos 3D com detalhes geométricos claros e estruturas complexas. O TripoSG não é adequado apenas para imagens de estilo real, mas também pode lidar com diversas entradas, como desenhos animados e esboços. Seu código e modelos pré-treinados estão disponíveis abertamente no GitHub e podem ser baixados e usados por qualquer pessoa gratuitamente. O objetivo dessa ferramenta é ajudar pesquisadores, desenvolvedores e criadores a criar ativos digitais em 3D com mais facilidade.

Lista de funções

• Gere modelos 3D de alta resolução a partir de uma única imagem, com suporte para vários estilos de entrada.
• Fornece características geométricas claras e detalhes finos de superfície.
• Oferece suporte à geração de formas 3D para topologias complexas.
• Código-fonte aberto e modelos pré-treinados, permitindo que os usuários modifiquem e otimizem livremente.
• O uso de conversores de fluxo retificador em grande escala garante um processo de geração estável e eficiente.

Usando a Ajuda

O TripoSG é uma ferramenta que requer instalação local e é destinada a usuários com certa base técnica, como desenvolvedores ou pesquisadores. Veja a seguir as etapas detalhadas de instalação e uso.

Processo de instalação

1. Preparação do ambiente
   Antes de usar o TripoSG, você precisa ter certeza de que possui um ambiente Python em seu computador. Recomenda-se o Python 3.10 ou superior. Você pode verificar a versão com o seguinte comando:

python --version

Se não estiver instalado, ele pode ser baixado em https://www.python.org.

2. projeto de clonagem
   Abra um terminal e digite o seguinte comando para baixar o projeto TripoSG localmente:

git clone https://github.com/VAST-AI-Research/TripoSG.git

Quando o download estiver concluído, vá para a pasta do projeto:

cd TripoSG

3. Instalando o PyTorch
   O TripoSG requer suporte ao PyTorch. Acesse https://pytorch.org/get-started/locally/ e escolha a versão apropriada para seu sistema operacional e placa de vídeo (compatível ou não com CUDA). Por exemplo, se você tiver uma placa de vídeo NVIDIA e suportar CUDA 11.8, poderá executá-lo:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

Se você não tiver uma placa de vídeo, poderá instalar a versão para CPU:

pip install torch torchvision

4. Instalação de dependências
   O projeto oferece um requirements.txt que lista todas as bibliotecas necessárias. Execute-o em um terminal:

pip install -r requirements.txt

Isso instalará automaticamente os kits de ferramentas necessários, como transformadores e trimesh.

5. Verificar a instalação
   Quando a instalação estiver concluída, você poderá executar um comando de teste simples para garantir que o ambiente esteja funcionando:

python -c "import torch; print(torch.__version__)"

Se o número da versão for exibido, a instalação foi bem-sucedida.

Uso

A função principal do TripoSG é gerar modelos 3D a partir de imagens. Veja a seguir as etapas.

Preparação da imagem de entrada

Você precisa de uma imagem nítida como entrada, por exemplo, no formato PNG ou JPG. O conteúdo da imagem pode ser um objeto real, um personagem de desenho animado ou um esboço desenhado à mão. Certifique-se de que a imagem tenha um fundo simples para melhorar a geração.

Execute o comando generate

1. Coloque o arquivo de imagem na pasta do projeto TripoSG ou lembre-se do caminho do arquivo.
2. Execute o seguinte comando no terminal:

python run.py --image 你的图像路径 --output-dir 输出文件夹

Por exemplo:

python run.py --image ./example.png --output-dir ./output

• --image Especifica o caminho da imagem de entrada.
• --output-dir Especifique onde salvar o modelo 3D, o padrão é output/.

3. Aguarde a geração. O processo pode levar alguns minutos, dependendo do desempenho de seu computador e da complexidade da imagem. Quando terminar, você verá o arquivo do modelo 3D gerado (geralmente no formato OBJ) na pasta de saída.

Parâmetros de ajuste (opcional)

O TripoSG suporta alguns ajustes de parâmetros para gerar efeitos. Por exemplo:

• --mc-resolutionDefine a resolução da malha, o padrão é 256. Valores maiores resultam em mais detalhes, mas em tempos de computação mais longos.

python run.py --image ./example.png --mc-resolution 512 --output-dir ./output

• --bake-textureGeração de mapas de textura em vez de cores de vértices.

python run.py --image ./example.png --bake-texture --texture-resolution 2048 --output-dir ./output

Exibir resultados

O modelo 3D gerado pode ser aberto em um software como o Blender ou o MeshLab. No Blender, clique em "File > Import > Wavefront (.obj)" para carregar o modelo e verificar os detalhes e as texturas.

Perguntas frequentes

• Se você for solicitado por falta de suporte a CUDA, verifique se a versão do CUDA do PyTorch corresponde ao driver da placa de vídeo do seu computador.
• Se a geração falhar, verifique se a imagem atende aos requisitos ou tente atualizar as bibliotecas dependentes:

pip install --upgrade -r requirements.txt

Uso avançado

O TripoSG é de código aberto e você pode modificar o código para atender a necessidades específicas. Por exemplo, para ajustar os parâmetros do modelo ou adicionar novos recursos. A documentação do projeto está no GitHub em README.mddetalhando a estrutura do código e os métodos de contribuição.

cenário do aplicativo

1. desenvolvimento de jogos
   Os desenvolvedores podem usar o TripoSG para gerar rapidamente modelos 3D a partir de desenhos conceituais, economizando tempo de modelagem.
2. Impressão 3D
   Os criadores podem inserir esboços de design para gerar arquivos 3D imprimíveis que podem ser usados para criar modelos físicos.
3. Pesquisa educacional
   Estudantes e pesquisadores podem usá-lo para explorar técnicas de conversão de imagem para 3D e aprender sobre o uso de IA na modelagem.
4. animação
   Os animadores podem gerar modelos de personagens usando imagens de desenhos animados para acelerar o processo de pré-produção.

QA

1. Quais formatos de imagem são compatíveis com o TripoSG?
   São suportados formatos de imagem comuns, como PNG e JPG. Recomenda-se o uso de imagens com resolução mais alta para obter melhores resultados.
2. Precisa de uma placa de vídeo?
   Não necessariamente. É possível executá-lo em uma CPU sem placa de vídeo, mas ele será mais rápido com uma placa NVIDIA.
3. O modelo gerado está disponível comercialmente?
   Sim. O TripoSG usa a licença MIT, que permite o uso e a modificação livres, desde que o aviso de direitos autorais seja mantido.
4. Por que os resultados gerados são insatisfatórios?
   Pode ser que o plano de fundo da imagem seja muito complexo ou que a resolução seja muito baixa. Tente simplificar o plano de fundo ou melhorar a qualidade da imagem.