TRELLIS: 다양한 포맷 지원 및 유연한 편집 기능을 갖춘 Microsoft에서 개발한 3D 에셋 생성 모델입니다.

일반 소개

TRELLIS는 Microsoft에서 개발한 대규모 3D 에셋 생성 모델입니다. 텍스트 또는 이미지 단서를 수신하고 방사형 필드, 3D 가우시안, 메시 등 다양한 형식의 고품질 3D 에셋을 생성할 수 있으며, TRELLIS의 핵심은 통합 SLAT(구조화된 잠재 변수) 표현으로, 다양한 출력 형식으로 디코딩할 수 있고 SLAT용으로 특별히 설계된 정류기 흐름 변압기의 견고성을 통해 뒷받침됩니다. 50만 개의 다양한 오브젝트가 포함된 대규모 3D 자산 데이터세트로 사전 학습된 이 모델은 기존 방식보다 훨씬 뛰어난 성능을 발휘하며 유연한 출력 포맷 선택과 네이티브 3D 편집 기능을 보여줍니다.

기능 목록

• 고품질 생성: 복잡한 모양과 텍스처 디테일이 포함된 다양한 3D 에셋을 생성합니다.
• 다용도성: 텍스트 또는 이미지 프롬프트를 수신하여 방사형 필드, 3D 가우시안, 메시 등 다양한 3D 표현을 생성합니다.
• 유연한 편집: 생성된 3D 에셋을 쉽게 편집할 수 있습니다(예: 동일한 오브젝트의 변형 생성 또는 3D 에셋의 로컬 편집).

도움말 사용

설치 프로세스

1. 전제 조건::
   • Linux에서 코드를 실행하는 것이 권장되며 다른 플랫폼에서는 테스트되지 않았습니다.
   • 종속성 관리에는 Conda를 사용하는 것이 좋습니다.
   • Python 3.8 이상이 필요합니다.
   • 16GB 이상의 RAM이 장착된 NVIDIA GPU가 필요하며, 코드는 NVIDIA A100 및 A6000 GPU에서 테스트되었습니다.
   • 특정 하위 모듈을 컴파일하려면 CUDA 툴킷이 필요하며, 코드는 CUDA 11.8 및 12.2에서 테스트되었습니다.
2. 설치 단계::
   • 리포지토리 복제하기:

     git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
     cd TRELLIS
     

   • 종속성을 설치합니다:

     . ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
     

사용 프로세스

1. 사전 학습된 모델 로드::

   from trellis.pipelines import TrellisImageTo3DPipeline
   pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
   pipeline.cuda()
   

2. 이미지 로드 및 파이프라인 실행::

   from PIL import Image
   image = Image.open("assets/example_image/T.png")
   outputs = pipeline.run(image, seed=1)
   

3. 렌더링 출력::

   from trellis.utils import render_utils
   video = render_utils.render_video(outputs['gaussian'][0])['color']
   

4. 결과 저장::

   import imageio
   imageio.mimsave("sample_gs.mp4", video, fps=30)