Thera: 모든 크기의 이미지 확대, 디앨리어싱 오픈 소스 도구

일반 소개

Thera는 취리히 연방공과대학과 취리히 대학교 연구팀이 개발한 오픈 소스 이미지 초고해상도 도구입니다. 저해상도 이미지를 2배, 3.14배 또는 정수가 아닌 배수와 같은 임의의 배율로 들쭉날쭉함이나 흐릿함 없이 확대할 수 있으며, Thera의 핵심은 신경 열장과 실제 이미징 과정을 모방하는 내장된 물리적 관찰 모델을 사용하여 자연스러운 이미지 디테일을 구현하는 것입니다. 이 도구는 GitHub에서 무료로 사용할 수 있으며, 누구나 코드를 다운로드하거나 사전 학습된 모델을 사용할 수 있습니다.

데모 주소: https://huggingface.co/spaces/prs-eth/thera

기능 목록

• 임의 배율 확대 지원: 정수로 제한하지 않고 자유롭게 배율을 설정할 수 있습니다.
• 재기드 프리 효과: 신경 열장 기술을 통해 증폭 시 들쭉날쭉함과 왜곡을 제거합니다.
• 내장된 물리적 관찰 모델: 실제 이미징 과정을 시뮬레이션하여 이미지의 자연스러움을 향상시킵니다.
• 오픈 소스 지원: 사용자는 코드를 수정하거나 필요에 맞게 조정할 수 있습니다.
• 사전 학습된 모델 제공: EDSR 및 RDN 백본 네트워크의 여러 변형을 모두 포함합니다.
• 크로스 플랫폼 운영: Python 3.10 기반, Linux 시스템 및 NVIDIA GPU를 지원합니다.
• 로컬 데모 지원: Gradio 인터페이스를 통해 이미지를 업로드하고 실시간으로 처리합니다.

도움말 사용

Thera의 사용은 설치와 운영의 두 부분으로 나뉩니다. 다음은 빠르게 시작할 수 있는 자세한 단계입니다.

설치 프로세스

Thera에는 Linux, Python 3.10 및 NVIDIA GPU가 필요합니다. 설치 단계는 다음과 같습니다:

1. 환경 만들기
   Conda로 Python 3.10 환경을 생성하고 활성화하세요:

conda create -n thera python=3.10
conda activate thera

2. 코드 다운로드
   GitHub에서 Thera 프로젝트를 복제합니다:

git clone https://github.com/prs-eth/thera.git
cd thera

3. 종속성 설치
   pip로 필요한 라이브러리를 설치합니다:

pip install --upgrade pip
pip install -r requirements.txt

4. 사전 학습된 모델 다운로드
   Thera는 다음과 같이 사전 학습된 다양한 모델을 제공합니다. thera-rdn-pro.pkl허깅 페이스 또는 Google 드라이브에서 다운로드할 수 있습니다. 허깅 페이스 또는 Google 드라이브에서 다운로드할 수 있습니다. 링크는 아래와 같습니다:

• EDSR Air. 포옹하는 얼굴
• RDN Pro. 포옹하는 얼굴
  다운로드가 완료되면 모델 파일을 thera 폴더로 이동합니다.

설치가 완료되면 Thera를 실행할 준비가 된 것입니다. 문제가 발생하면 python run_eval.py -h 도움말 보기.

워크플로

Thera의 주요 기능은 이미지를 확대하는 것입니다. 정확한 단계는 다음과 같습니다:

1. 입력 이미지 준비하기
   확대할 이미지를 다음과 같은 폴더에 넣습니다. data/test_imagesPNG, JPEG 및 기타 형식을 지원합니다.
2. 초고해상도 실행
   터미널에 명령을 입력하여 이미지를 처리합니다:

./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl

• input.png 는 입력 이미지입니다.
• output.png 는 출력 이미지입니다.
• --scale 배율을 설정합니다(예: 3.14).
• --checkpoint 미리 학습된 모델 경로를 지정합니다.

3. 배치 파일
   여러 이미지를 처리하려는 경우에는 run_eval.py::

python run_eval.py --checkpoint thera-rdn-pro.pkl --data-dir data --eval-sets test_images

출력은 outputs 폴더로 이동합니다.

주요 기능 작동

Thera의 하이라이트는 임의 스케일과 비에일리어싱 효과입니다. 자세한 설명은 다음과 같습니다:

• 원하는 크기로 확대
  다음과 같은 배율을 설정할 수 있습니다. --scale 2.5 어쩌면 --scale 3.14고정된 횟수만 선택할 수 있는 기존 도구보다 더 유연합니다. 고정된 배율만 선택할 수 있는 기존 도구보다 더 유연합니다. 예를 들어 3.14배로 확대할 때 명령은 다음과 같습니다:

./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl

• 들쭉날쭉한 효과 없음
  Thera는 신경 열장 기술로 이미지 가장자리를 처리합니다. 추가 설정이 필요하지 않으며, 확대하면 자동으로 디테일이 보존되고 들쭉날쭉한 부분을 방지합니다. 예를 들어 텍스트 이미지를 확대할 때 가장자리가 선명하게 유지됩니다.
• 물리적 관측 모델
  이 기능은 모델에 내장되어 있으며 실제 이미징 프로세스를 시뮬레이션합니다. 파라미터를 조정할 필요 없이 Thera가 자동으로 출력을 최적화하여 이미지를 더욱 사실적으로 만듭니다.

로컬 데모 버전

보다 직관적으로 Thera를 경험하려면 Gradio 데모를 실행하세요:

1. 데모 코드 복제

git clone https://huggingface.co/spaces/prs-eth/thera thera-demo
cd thera-demo

2. 종속성 설치

pip install -r requirements.txt

3. 스타트업 데모

python app.py

브라우저를 열고 다음 사이트를 방문하세요. http://localhost:7860. 웹페이지에 이미지를 업로드하고 배율을 조정하여 실시간으로 효과를 확인할 수 있습니다.

디버깅 권장 사항

성능 문제가 발생하는 경우 이러한 XLA 매개변수를 사용할 수 있습니다:

• 비디오 메모리 사전 할당을 끕니다:XLA_PYTHON_CLIENT_PREALLOCATE=false
• JIT 디버깅을 끕니다:JAX_DISABLE_JIT=1

이 단계를 통해 Thera로 모든 이미지를 처리할 수 있습니다. 사용하기 쉽고 뛰어난 결과를 제공합니다.

애플리케이션 시나리오

1. 원격 감지 이미지 처리
   Thera는 위성이나 드론으로 촬영한 이미지를 확대할 수 있습니다. 연구자들은 이를 사용하여 지형의 세부 사항을 분석할 수 있습니다(예: 삼림의 변화를 모니터링하는 데 사용).
2. 의료 이미지 향상
   Thera는 엑스레이 또는 MRI 이미지의 해상도를 향상시킵니다. 의사는 이를 사용하여 더 미세한 병변을 확인하고 진단 효율성을 개선할 수 있습니다.
3. 디지털 아트 복원
   아티스트는 Thera를 사용해 저해상도 작품이나 오래된 사진을 확대할 수 있습니다. 예를 들어 흐릿한 스케치를 확대하면 더 자세히 볼 수 있습니다.

QA

1. Thera는 Windows를 지원하나요?
   현재는 NVIDIA GPU 및 특정 환경에 의존하기 때문에 Linux만 지원되며, Windows 사용자는 가상 머신에서 실행할 수 있습니다.
2. 배율에 제한이 있나요?
   정해진 상한은 없습니다. 그러나 배율이 너무 높으면(예: 10배 이상) 원본 이미지의 정보가 충분하지 않아 효과가 저하될 수 있습니다.
3. 교육 코드는 언제 공개되나요?
   공식적으로 교육 코드는 곧 공개될 예정이며, 시기는 미정입니다. GitHub 페이지에서 업데이트를 확인할 수 있습니다.