LHM: 단일 이미지에서 모션이 가능한 3D 인체 모델 생성

58.3K 00

일반 소개

LHM(대형 애니메이션 가능한 인체 재구성 모델)은 오픈 소스 프로젝트로, aigc3d 팀이 개발했으며 단일 이미지에서 동작을 지원하는 3D 인체 모델을 빠르게 생성할 수 있습니다. 핵심 기능은 AI 기술을 사용하여 2D 이미지를 몇 초 만에 3D 모델로 변환하고 실시간 미리보기 및 포즈 조정을 지원하는 것입니다. LHM은 3D 가우시안 스플래팅 기술을 사용하여 인체를 표현하고 의류 질감과 기하학적 디테일을 보존하는 멀티모달 트랜스포머 아키텍처를 결합합니다. 2025년 3월 13일에 처음 공개된 이 프로젝트는 3D 디지털 인간 관련 애플리케이션의 연구 또는 개발에 적합한 사전 훈련된 모델과 코드를 제공합니다.

기능 목록

단 몇 초 만에 단일 이미지로 3D 마네킹을 생성합니다.
실시간 렌더링이 지원되며 생성된 모델을 바로 확인할 수 있습니다.
인체 자세를 조정하여 역동적인 영상을 생성하는 액션 기능을 제공합니다.
후속 편집을 위해 3D 메시 파일(예: OBJ 형식)을 출력합니다.
사전 학습된 모델(예: LHM-0.5B 및 LHM-1B)이 포함되어 있으므로 직접 학습할 필요가 없습니다.
로컬 시각화를 지원하는 통합 Gradio 인터페이스.
비디오에서 액션을 추출하여 모델에 적용할 수 있는 비디오 처리 파이프라인을 제공합니다.

도움말 사용

LHM의 사용은 설치와 운영의 두 부분으로 나뉩니다. 다음은 빠르게 시작하는 데 도움이 되는 자세한 단계입니다.

설치 프로세스

환경 준비하기
시스템에는 Python 3.10 및 CUDA(버전 11.8 또는 12.1 지원)가 필요합니다. 최소 16GB의 비디오 메모리를 갖춘 A100 또는 4090과 같은 NVIDIA 그래픽 카드가 권장됩니다.
- Python 버전을 확인하세요:
```
python --version
```
- CUDA 버전을 확인하세요:
```
nvcc --version
```
클론 창고
터미널에 다음 명령을 입력하여 LHM 코드를 다운로드합니다:
```
git clone https://github.com/aigc3d/LHM.git
cd LHM
```

종속성 설치
사용 중인 CUDA 버전에 따라 해당 스크립트를 실행합니다:
- CUDA 11.8:
```
sh ./install_cu118.sh
```
- CUDA 12.1:
```
sh ./install_cu121.sh
```
스크립트가 실패하면 종속성을 수동으로 설치하세요:
```
pip install -r requirements.txt
```

모델 다운로드
모델이 자동으로 다운로드됩니다. 수동으로 다운로드하려면 다음 명령을 사용하세요:

LHM-0.5B 모델:

wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-0.5B.tar
tar -xvf LHM-0.5B.tar

LHM-1B 모델:

wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/for_lingteng/LHM/LHM-1B.tar
tar -xvf LHM-1B.tar

다운로드하여 프로젝트 루트 디렉터리에 압축을 풉니다.

설치 확인
테스트 명령을 실행하여 환경이 정상인지 확인합니다:
```
python app.py
```
성공하면 Gradio 인터페이스가 시작됩니다.

워크플로

3D 모델 생성

사진 준비
인체 전신이 포함된 선명한 이미지를 준비하여 로컬에 저장합니다.<path_to_image>/person.jpg.
추론 스크립트 실행
터미널에 입력합니다:
```
bash ./inference.sh ./configs/inference/human-lrm-1B.yaml LHM-1B <path_to_image>/ ./output/
```
- <path_to_image>는 이미지의 경로입니다.
- ./output/는 생성된 결과가 저장되는 출력 폴더입니다.
결과 보기
생성 후<output>이 폴더에는 3D 모델 파일과 렌더링된 동영상이 있습니다. 3D 소프트웨어(예: Blender)로 메시 파일을 열거나 동영상을 직접 재생할 수 있습니다.

작업 추가

준비 동작 순서
이 프로젝트는 샘플 작업 파일을 제공하며, 이 파일은<LHM根目录>/train_data/motion_video/mimo1/smplx_params. 자체 SMPL-X 매개변수 파일을 사용할 수도 있습니다.

액션 스크립트 실행
다음 명령을 입력합니다:

bash ./inference.sh ./configs/inference/human-lrm-1B.yaml LHM-1B <path_to_image>/ <path_to_motion>/smplx_params

<path_to_motion>는 작업 파일 경로입니다.

액션 비디오 미리보기
출력 폴더에서 바로 재생할 수 있는 액션 동영상을 생성합니다.

라디오 인터페이스 사용

실행 인터페이스
터미널에서 실행됩니다:
```
python app.py
```
브라우저가 열립니다.http://0.0.0.0:7860.
사진 업로드
인터페이스에서 신체 사진을 업로드하고 '제출'을 클릭합니다.
결과 얻기
몇 초 후 인터페이스에 렌더링된 이미지와 액션 비디오가 표시되며, 이를 다운로드하여 볼 수 있습니다.

3D 메시 익스포트

내보내기 스크립트 실행
입력:

bash ./inference_mesh.sh ./configs/inference/human-lrm-1B.yaml LHM-1B

파일을 찾습니다.
출력 폴더에는 3D 소프트웨어로 편집할 수 있는 OBJ 형식의 메시 파일이 있습니다.

주의

사진은 선명해야 하고 배경은 단순한 것이 더 효과적입니다.
액션 효과는 입력 액션의 품질에 따라 달라집니다.
비디오 메모리가 충분하지 않다면 LHM-0.5B 모델을 사용해 보세요.

애플리케이션 시나리오

게임 개발
개발자는 LHM을 사용하여 사진에서 3D 캐릭터 모델을 빠르게 생성하고 포즈를 조정한 후 게임 엔진으로 임포트하여 모델링 시간을 절약할 수 있습니다.
영화 및 텔레비전 제작
영화 및 TV 팀은 LHM을 사용하여 디지털 스탠드인을 제작하고 특수 효과 장면에 사용할 액션 비디오를 생성하여 수동 모델링 비용을 절감할 수 있습니다.
가상 앵커(TV)
호스트는 자신의 사진을 업로드하여 3D 이미지를 생성한 다음 작업을 추가하여 개인화된 가상 이미지를 만들 수 있습니다.
교육 연구
연구원들은 강의실에서 LHM으로 3D 재구성 알고리즘을 테스트하거나 사진에서 모형으로 변환하는 과정을 시연할 수 있었습니다.

QA

LHM은 어떤 이미지 형식을 지원하나요?
JPG, PNG와 같은 일반적인 형식이 지원되며, 파일 크기는 10MB를 초과하지 않는 JPG를 권장합니다.
모델을 생성하는 데 시간이 얼마나 걸리나요?
A100 카드의 경우 약 0.2초, 4090 카드의 경우 1~2초로 하드웨어에 따라 약간씩 차이가 있습니다.
모델을 직접 트레이닝할 수 있나요?
가능하지만 공식적으로 제공되는 교육 스크립트는 없습니다. 숙련된 사용자에게 적합한 데이터 세트 준비 및 코드 튜닝이 필요합니다.
출력된 3D 모델을 편집할 수 있나요?
할 수 있습니다. OBJ 파일을 내보낸 후 Blender 또는 Maya로 지오메트리와 텍스처를 편집합니다.