TripoSR: 빠른 단일 이미지 3D 재구성 모델, 오픈 소스 텍스트에서 3D 모델링으로|이미지에서 3D 모델링으로

15.5K 00

일반 소개

TripoSR은 Tripo AI와 Stability AI가 공동 개발한 오픈 소스 모델로, 단일 이미지에서 고품질 3D 모델을 빠르게 생성하도록 설계되었습니다. 이 모델은 대규모 재구성 모델(LRM) 아키텍처를 기반으로 하며 0.5초 이내에 3D 메시를 생성할 수 있습니다. TripoSR은 공개적으로 사용 가능한 여러 데이터 세트에서 다른 오픈 소스 대안보다 뛰어난 성능을 발휘하며 엔터테인먼트, 게임, 산업 디자인 및 건축을 포함한 다양한 영역에서 속도와 품질을 제공합니다.

로컬 배포 외에도 공식 TRIPO 웹사이트를 방문하여 초안을 무제한으로 생성하고 한 달에 10개의 고품질 텍스트-3D 및 이미지-3D 크레딧을 사용할 수 있습니다.

TripoSR 공식 웹사이트

TripoSR 미리 선택된 4개의 3D 모델 생성

트리포에스알 생성 예시

기능 목록

빠른 3D 재구성단 0.5초 만에 단일 이미지에서 고품질 3D 모델을 생성합니다.
고품질 출력고해상도 및 디테일의 3D 모델을 생성합니다.
오픈 소스연구자와 개발자의 편의를 위해 전체 소스 코드와 사전 학습된 모델이 제공됩니다.
멀티 플랫폼 지원다양한 하드웨어 환경에 맞는 GPU 및 CPU 작동을 지원합니다.
온라인 데모온라인 데모 기능 제공 : 사용자가 모델의 성능을 직접 체험할 수 있도록 온라인 데모 기능을 제공합니다.

도움말 사용

설치 프로세스

환경 준비::
- Python 3.8 이상이 설치되어 있는지 확인합니다.
- CUDA를 설치합니다(사용 가능한 경우).
- 로컬에 설치된 CUDA 버전이 PyTorch 버전과 일치하는지 확인하면서 PyTorch를 설치합니다.

코드 베이스 복제::

git clone https://github.com/VAST-AI-Research/TripoSR.git
cd TripoSR

종속성 설치::
```
pip install -r requirements.txt
```

사용 프로세스

실행 예제::
```
python run.py examples/chair.png --output-dir output/
```
이렇게 하면 재구성된 3D 모델이 저장됩니다.output/카탈로그.
네이티브 라디오 애플리케이션::
```
python gradio_app.py
```
로컬 Gradio 애플리케이션을 실행하면 사용자는 웹 인터페이스를 통해 이미지를 업로드하고 3D 모델을 생성할 수 있습니다.

세부 단계

이미지 사전 처리::
- 입력 이미지를 NumPy 배열로 처리합니다.
- 이미지 인코더를 사용하여 특징을 추출합니다.
3D 재구성::
- 추출된 특징은 이미지에 입력되어 3면 디코더로 전달됩니다.
- 3면 신경 방사장을 사용하여 색상과 밀도를 예측합니다.
출력 생성::
- 생성된 3D 메시를 다양한 포맷으로 저장하여 추후 사용 및 편집이 용이하도록 할 수 있습니다.

일반적인 문제

CUDA 오류CUDA 관련 오류가 발생하면 로컬에 설치된 CUDA 버전이 PyTorch 버전과 일치하는지 확인하세요.
종속성 설치에 실패했습니다.최신 버전의setuptools및 사용pip install --upgrade setuptools업그레이드를 수행합니다.