TripoSG: 단일 이미지에서 고해상도 3D 모델링 디지털 자산 생성

일반 소개

TripoSG는 단일 이미지에서 고품질 3D 모델을 생성하는 VAST AI 연구팀에서 개발한 오픈 소스 프로젝트입니다. 이 프로젝트는 하이브리드 지도 학습 및 고품질 데이터 세트와 결합된 대규모 정류기-흐름 변환기 기술을 사용하여 명확한 기하학적 디테일과 복잡한 구조를 가진 3D 모델을 생성하며, 실제 스타일의 이미지뿐만 아니라 만화, 스케치 등 다양한 입력도 처리할 수 있습니다. 코드와 사전 학습된 모델은 GitHub에서 공개적으로 제공되며 누구나 무료로 다운로드하여 사용할 수 있습니다. 이 도구의 목표는 연구자, 개발자, 크리에이터가 3D 디지털 에셋을 더 쉽게 만들 수 있도록 돕는 것입니다.

 

기능 목록

• 다양한 스타일의 입력을 지원하여 단일 이미지에서 고해상도 3D 모델을 생성할 수 있습니다.
• 선명한 기하학적 특징과 섬세한 표면 디테일을 제공합니다.
• 복잡한 토폴로지를 위한 3D 형상 생성을 지원합니다.
• 오픈 소스 코드와 사전 학습된 모델을 통해 사용자가 자유롭게 수정하고 최적화할 수 있습니다.
• 대규모 정류기 흐름 컨버터를 사용하면 안정적이고 효율적인 발전 프로세스를 보장합니다.

 

도움말 사용

TripoSG는 로컬 설치가 필요한 도구로 개발자나 연구원 등 특정 기술 기반을 갖춘 사용자를 대상으로 합니다. 다음은 자세한 설치 및 사용 단계입니다.

설치 프로세스

1. 환경 준비하기
   TripoSG를 사용하기 전에 컴퓨터에 파이썬 환경이 준비되어 있는지 확인해야 합니다. Python 3.10 이상을 권장합니다. 다음 명령어로 버전을 확인할 수 있습니다:

python --version

설치되어 있지 않은 경우 https://www.python.org 에서 다운로드할 수 있습니다.

2. 복제 프로젝트
   터미널을 열고 다음 명령을 입력하여 로컬로 TripoSG 프로젝트를 다운로드합니다:

git clone https://github.com/VAST-AI-Research/TripoSG.git

다운로드가 완료되면 프로젝트 폴더로 이동합니다:

cd TripoSG

3. PyTorch 설치
   TripoSG는 PyTorch 지원이 필요합니다. https://pytorch.org/get-started/locally/ 으로 이동하여 운영 체제 및 그래픽 카드에 적합한 버전(CUDA 지원 여부)을 선택하세요. 예를 들어 NVIDIA 그래픽 카드가 있고 CUDA 11.8을 지원하는 경우 실행할 수 있습니다:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

그래픽 카드가 없는 경우 CPU 버전을 설치할 수 있습니다:

pip install torch torchvision

4. 종속성 설치
   이 프로젝트는 requirements.txt 파일에 필요한 모든 라이브러리가 나열되어 있습니다. 터미널에서 실행합니다:

pip install -r requirements.txt

그러면 트랜스포머와 트리메시 등 필요한 툴킷이 자동으로 설치됩니다.

5. 설치 확인
   설치가 완료되면 간단한 테스트 명령을 실행하여 환경이 제대로 작동하는지 확인할 수 있습니다:

python -c "import torch; print(torch.__version__)"

버전 번호가 출력되면 설치에 성공한 것입니다.

사용법

TripoSG의 핵심 기능은 이미지에서 3D 모델을 생성하는 것입니다. 단계는 다음과 같습니다.

입력 이미지 준비하기

PNG 또는 JPG 형식의 선명한 이미지가 입력으로 필요합니다. 이미지 콘텐츠는 실제 사물, 만화 캐릭터 또는 손으로 그린 스케치일 수 있습니다. 더 나은 생성을 위해 이미지의 배경이 단순한지 확인하세요.

생성 명령 실행

1. 이미지 파일을 TripoSG 프로젝트 폴더에 넣거나 파일 경로를 기억하세요.
2. 터미널에서 다음 명령을 실행합니다:

python run.py --image 你的图像路径 --output-dir 输出文件夹

예를 들어

python run.py --image ./example.png --output-dir ./output

• --image 입력 이미지 경로를 지정합니다.
• --output-dir 3D 모델을 저장할 위치를 지정합니다. 기본값은 다음과 같습니다. output/.

3. 생성을 기다립니다. 이 과정은 컴퓨터 성능과 이미지 복잡도에 따라 몇 분 정도 걸릴 수 있습니다. 완료되면 출력 폴더에 생성된 3D 모델 파일(일반적으로 OBJ 형식)을 볼 수 있습니다.

조정 매개변수(선택 사항)

TripoSG는 효과를 생성하기 위해 일부 매개변수 조정을 지원합니다. 예를 들어

• --mc-resolution메시 해상도를 설정하며 기본값은 256입니다. 값이 클수록 디테일은 더 세밀해지지만 계산 시간이 길어집니다.

python run.py --image ./example.png --mc-resolution 512 --output-dir ./output

• --bake-texture버텍스 컬러 대신 텍스처 맵을 생성합니다.

python run.py --image ./example.png --bake-texture --texture-resolution 2048 --output-dir ./output

결과 보기

생성된 3D 모델은 블렌더 또는 메시랩과 같은 소프트웨어에서 열 수 있습니다. 블렌더에서 '파일 > 가져오기 > 파면(.obj)을 클릭하여 모델을 로드하고 디테일과 텍스처를 확인합니다.

자주 묻는 질문

• CUDA가 지원되지 않는다는 메시지가 표시되면 PyTorch의 CUDA 버전이 컴퓨터의 그래픽 카드 드라이버와 일치하는지 확인하세요.
• 생성에 실패하면 이미지가 요구 사항을 충족하는지 확인하거나 종속 라이브러리를 업데이트해 보세요:

pip install --upgrade -r requirements.txt

고급 사용

TripoSG는 오픈 소스이며 특정 요구 사항을 충족하도록 코드를 수정할 수 있습니다. 예를 들어, 모델 매개변수를 조정하거나 새로운 기능을 추가할 수 있습니다. 프로젝트 문서는 깃허브에서 확인할 수 있습니다. README.md에서 코드 구조와 기여 방법을 자세히 설명합니다.

 

애플리케이션 시나리오

1. 게임 개발
   개발자는 TripoSG를 사용하여 개념 도면에서 3D 모델을 빠르게 생성하여 모델링 시간을 절약할 수 있습니다.
2. 3D 프린팅
   크리에이터는 디자인 스케치를 입력하여 실제 모델을 만드는 데 사용할 수 있는 인쇄 가능한 3D 파일을 생성할 수 있습니다.
3. 교육 연구
   학생과 연구자는 이를 사용하여 이미지에서 3D로 변환하는 기술을 탐구하고 모델링에 AI를 사용하는 방법을 배울 수 있습니다.
4. 애니메이션
   애니메이터는 카툰 이미지를 사용하여 캐릭터 모델을 생성하여 사전 제작 프로세스의 속도를 높일 수 있습니다.

 

QA

1. TripoSG는 어떤 이미지 형식을 지원하나요?
   PNG 및 JPG와 같은 일반적인 이미지 형식이 지원되며, 더 나은 결과를 얻으려면 고해상도 이미지를 사용하는 것이 좋습니다.
2. 비디오 카드가 필요하신가요?
   반드시 그렇지는 않습니다. 그래픽 카드가 없는 CPU에서도 실행할 수 있지만 NVIDIA 그래픽을 사용하면 더 빠릅니다.
3. 생성된 모델을 상업적으로 사용할 수 있나요?
   예. TripoSG는 저작권 고지가 유지되는 한 자유로운 사용과 수정이 가능한 MIT 라이선스를 사용합니다.
4. 생성된 결과가 만족스럽지 않은 이유는 무엇인가요?
   이미지 배경이 너무 복잡하거나 해상도가 너무 낮을 수 있습니다. 배경을 단순화하거나 이미지 화질을 개선해 보세요.