Thera : agrandissement d'images de toutes tailles, outils open source de déaliasing

Introduction générale

Thera 是一个开源的图像超分辨率工具，由苏黎世联邦理工学院（ETH Zurich）和苏黎世大学的团队开发。它能将低分辨率图像放大到任意尺度，比如 2 倍、3.14 倍甚至非整数倍，并且放大后没有锯齿或模糊。Thera 的核心在于使用了神经热场（Neural Heat Fields）和内置物理观察模型，能模拟真实成像过程，让图像细节更自然。这个工具在 GitHub 上免费提供，任何人都可以下载代码或使用预训练模型。

演示地址：https://huggingface.co/spaces/prs-eth/thera

Liste des fonctions

• 支持任意尺度放大：可以自由设置放大倍数，不限于整数。
• 无锯齿效果：通过神经热场技术，消除放大时的锯齿和失真。
• 内置物理观察模型：模拟真实成像过程，提升图像自然度。
• 开源代码支持：用户可以修改代码或适配自己的需求。
• 提供预训练模型：包括 EDSR 和 RDN 两种骨干网络的多种变体。
• 跨平台运行：基于 Python 3.10，支持 Linux 系统和 NVIDIA GPU。
• 本地演示支持：通过 Gradio 界面上传图像并实时处理。

Utiliser l'aide

Thera 的使用分为安装和操作两部分。以下是详细步骤，确保你能快速上手。

Processus d'installation

Thera 需要 Linux 系统、Python 3.10 和 NVIDIA GPU 支持。安装步骤如下：

1. Créer l'environnement
   用 Conda 创建 Python 3.10 环境并激活：

conda create -n thera python=3.10
conda activate thera

2. Télécharger le code
   从 GitHub 克隆 Thera 项目：

git clone https://github.com/prs-eth/thera.git
cd thera

3. Installation des dépendances
   用 pip 安装所需库：

pip install --upgrade pip
pip install -r requirements.txt

4. Télécharger le modèle pré-entraîné
   Thera 提供多种预训练模型，比如 thera-rdn-pro.pkl。你可以从 Hugging Face 或 Google Drive 下载。链接如下：

• EDSR Air: Visage étreint
• RDN Pro: Visage étreint
  下载后，将模型文件放到 thera dossier.

安装完成后，Thera 就可以运行了。如果有问题，可以用 python run_eval.py -h 查看帮助。

flux de travail

Thera 的主要功能是放大图像。以下是具体步骤：

1. Préparation de l'image d'entrée
   将需要放大的图像放到一个文件夹，比如 data/test_images，支持 PNG、JPEG 等格式。
2. 运行超分辨率
   在终端输入命令处理图像：

./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl

• input.png 是输入图像。
• output.png 是输出图像。
• --scale 设置放大倍数，比如 3.14。
• --checkpoint 指定预训练模型路径。

3. fichier de lot
   如果要处理多个图像，可以用 run_eval.py: :

python run_eval.py --checkpoint thera-rdn-pro.pkl --data-dir data --eval-sets test_images

输出会保存在 outputs dossier.

Fonction en vedette Fonctionnement

Thera 的亮点是任意尺度和无锯齿效果。以下是详细说明：

• 任意尺度放大
  你可以设置任何放大倍数，比如 --scale 2.5 peut-être --scale 3.14。这比传统工具只能选固定倍数更灵活。比如放大到 3.14 倍时，命令是：

./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl

• 无锯齿效果
  Thera 用神经热场技术处理图像边缘。无需额外设置，运行后放大图像会自动保留细节，避免锯齿。比如放大文字图像时，边缘依然清晰。
• 物理观察模型
  这个功能内置在模型中，会模拟真实成像过程。你不用调整参数，Thera 会自动优化输出，让图像更真实。

本地演示版

想更直观地体验 Thera？可以运行 Gradio 演示版：

1. 克隆演示代码

git clone https://huggingface.co/spaces/prs-eth/thera thera-demo
cd thera-demo

2. Installation des dépendances

pip install -r requirements.txt

3. Démonstration de démarrage

python app.py

Ouvrez votre navigateur et visitez http://localhost:7860。你可以在网页上上传图像，调整放大倍数，实时查看效果。

调试建议

如果遇到性能问题，可以用这些 XLA 参数：

• 关闭显存预分配：XLA_PYTHON_CLIENT_PREALLOCATE=false
• 关闭 JIT 调试：JAX_DISABLE_JIT=1

通过这些步骤，你可以用 Thera 处理任何图像。它的操作简单，效果出色。

scénario d'application

1. 遥感图像处理
   Thera 可以放大卫星或无人机拍摄的图像。研究人员能用它分析地形细节，比如监测森林覆盖变化。
2. 医学影像增强
   Thera 能提高 X 光或 MRI 图像的分辨率。医生可以用它观察更细微的病变，提升诊断效率。
3. 数字艺术修复
   艺术家可以用 Thera 放大低分辨率作品或老照片。比如放大一张模糊的素描，细节会更丰富。

QA

1. Thera 支持 Windows 吗？
   目前只支持 Linux，因为它依赖 NVIDIA GPU 和特定环境。Windows 用户可以用虚拟机运行。
2. 放大倍数有限制吗？
   没有固定上限。但如果倍数过高（比如 10 倍以上），效果可能因原始图像信息不足而下降。
3. 训练代码什么时候发布？
   官方表示训练代码即将发布，具体时间待定。你可以关注 GitHub 页面获取更新。