일반 소개
Thera는 취리히 연방공과대학과 취리히 대학교 연구팀이 개발한 오픈 소스 이미지 초고해상도 도구입니다. 저해상도 이미지를 2배, 3.14배 또는 정수가 아닌 배수와 같은 임의의 배율로 들쭉날쭉함이나 흐릿함 없이 확대할 수 있으며, Thera의 핵심은 신경 열장과 실제 이미징 과정을 모방하는 내장된 물리적 관찰 모델을 사용하여 자연스러운 이미지 디테일을 구현하는 것입니다. 이 도구는 GitHub에서 무료로 사용할 수 있으며, 누구나 코드를 다운로드하거나 사전 학습된 모델을 사용할 수 있습니다.

데모 주소: https://huggingface.co/spaces/prs-eth/thera
기능 목록
- 임의 배율 확대 지원: 정수로 제한하지 않고 자유롭게 배율을 설정할 수 있습니다.
- 재기드 프리 효과: 신경 열장 기술을 통해 증폭 시 들쭉날쭉함과 왜곡을 제거합니다.
- 내장된 물리적 관찰 모델: 실제 이미징 과정을 시뮬레이션하여 이미지의 자연스러움을 향상시킵니다.
- 오픈 소스 지원: 사용자는 코드를 수정하거나 필요에 맞게 조정할 수 있습니다.
- 사전 학습된 모델 제공: EDSR 및 RDN 백본 네트워크의 여러 변형을 모두 포함합니다.
- 크로스 플랫폼 운영: Python 3.10 기반, Linux 시스템 및 NVIDIA GPU를 지원합니다.
- 로컬 데모 지원: Gradio 인터페이스를 통해 이미지를 업로드하고 실시간으로 처리합니다.
도움말 사용
Thera의 사용은 설치와 운영의 두 부분으로 나뉩니다. 다음은 빠르게 시작할 수 있는 자세한 단계입니다.
설치 프로세스
Thera에는 Linux, Python 3.10 및 NVIDIA GPU가 필요합니다. 설치 단계는 다음과 같습니다:
- 환경 만들기
Conda로 Python 3.10 환경을 생성하고 활성화하세요:
conda create -n thera python=3.10
conda activate thera
- 코드 다운로드
GitHub에서 Thera 프로젝트를 복제합니다:
git clone https://github.com/prs-eth/thera.git
cd thera
- 종속성 설치
pip로 필요한 라이브러리를 설치합니다:
pip install --upgrade pip
pip install -r requirements.txt
- 사전 학습된 모델 다운로드
Thera는 다음과 같이 사전 학습된 다양한 모델을 제공합니다.thera-rdn-pro.pkl
허깅 페이스 또는 Google 드라이브에서 다운로드할 수 있습니다. 허깅 페이스 또는 Google 드라이브에서 다운로드할 수 있습니다. 링크는 아래와 같습니다:
설치가 완료되면 Thera를 실행할 준비가 된 것입니다. 문제가 발생하면 python run_eval.py -h
도움말 보기.
워크플로
Thera의 주요 기능은 이미지를 확대하는 것입니다. 정확한 단계는 다음과 같습니다:
- 입력 이미지 준비하기
확대할 이미지를 다음과 같은 폴더에 넣습니다.data/test_images
PNG, JPEG 및 기타 형식을 지원합니다. - 초고해상도 실행
터미널에 명령을 입력하여 이미지를 처리합니다:
./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl
input.png
는 입력 이미지입니다.output.png
는 출력 이미지입니다.--scale
배율을 설정합니다(예: 3.14).--checkpoint
미리 학습된 모델 경로를 지정합니다.
- 배치 파일
여러 이미지를 처리하려는 경우에는run_eval.py
::
python run_eval.py --checkpoint thera-rdn-pro.pkl --data-dir data --eval-sets test_images
출력은 outputs
폴더로 이동합니다.
주요 기능 작동
Thera의 하이라이트는 임의 스케일과 비에일리어싱 효과입니다. 자세한 설명은 다음과 같습니다:
- 원하는 크기로 확대
다음과 같은 배율을 설정할 수 있습니다.--scale 2.5
어쩌면--scale 3.14
고정된 횟수만 선택할 수 있는 기존 도구보다 더 유연합니다. 고정된 배율만 선택할 수 있는 기존 도구보다 더 유연합니다. 예를 들어 3.14배로 확대할 때 명령은 다음과 같습니다:
./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl
- 들쭉날쭉한 효과 없음
Thera는 신경 열장 기술로 이미지 가장자리를 처리합니다. 추가 설정이 필요하지 않으며, 확대하면 자동으로 디테일이 보존되고 들쭉날쭉한 부분을 방지합니다. 예를 들어 텍스트 이미지를 확대할 때 가장자리가 선명하게 유지됩니다. - 물리적 관측 모델
이 기능은 모델에 내장되어 있으며 실제 이미징 프로세스를 시뮬레이션합니다. 파라미터를 조정할 필요 없이 Thera가 자동으로 출력을 최적화하여 이미지를 더욱 사실적으로 만듭니다.
로컬 데모 버전
보다 직관적으로 Thera를 경험하려면 Gradio 데모를 실행하세요:
- 데모 코드 복제
git clone https://huggingface.co/spaces/prs-eth/thera thera-demo
cd thera-demo
- 종속성 설치
pip install -r requirements.txt
- 스타트업 데모
python app.py
브라우저를 열고 다음 사이트를 방문하세요. http://localhost:7860
. 웹페이지에 이미지를 업로드하고 배율을 조정하여 실시간으로 효과를 확인할 수 있습니다.
디버깅 권장 사항
성능 문제가 발생하는 경우 이러한 XLA 매개변수를 사용할 수 있습니다:
- 비디오 메모리 사전 할당을 끕니다:
XLA_PYTHON_CLIENT_PREALLOCATE=false
- JIT 디버깅을 끕니다:
JAX_DISABLE_JIT=1
이 단계를 통해 Thera로 모든 이미지를 처리할 수 있습니다. 사용하기 쉽고 뛰어난 결과를 제공합니다.
애플리케이션 시나리오
- 원격 감지 이미지 처리
Thera는 위성이나 드론으로 촬영한 이미지를 확대할 수 있습니다. 연구자들은 이를 사용하여 지형의 세부 사항을 분석할 수 있습니다(예: 삼림의 변화를 모니터링하는 데 사용). - 의료 이미지 향상
Thera는 엑스레이 또는 MRI 이미지의 해상도를 향상시킵니다. 의사는 이를 사용하여 더 미세한 병변을 확인하고 진단 효율성을 개선할 수 있습니다. - 디지털 아트 복원
아티스트는 Thera를 사용해 저해상도 작품이나 오래된 사진을 확대할 수 있습니다. 예를 들어 흐릿한 스케치를 확대하면 더 자세히 볼 수 있습니다.
QA
- Thera는 Windows를 지원하나요?
현재는 NVIDIA GPU 및 특정 환경에 의존하기 때문에 Linux만 지원되며, Windows 사용자는 가상 머신에서 실행할 수 있습니다. - 배율에 제한이 있나요?
정해진 상한은 없습니다. 그러나 배율이 너무 높으면(예: 10배 이상) 원본 이미지의 정보가 충분하지 않아 효과가 저하될 수 있습니다. - 교육 코드는 언제 공개되나요?
공식적으로 교육 코드는 곧 공개될 예정이며, 시기는 미정입니다. GitHub 페이지에서 업데이트를 확인할 수 있습니다.
© 저작권 정책
이 글은 저작권이 있으며 무단으로 복제해서는 안 됩니다.
관련 문서
댓글 없음...