OmniParser：用户界面截图解析成结构化元素，便于大模型理解和操作

综合介绍

OmniParser是一个由微软开发的工具，旨在解析用户界面截图，将其转化为结构化且易于理解的元素。这一工具显著提升了GPT-4V在对应界面区域生成准确操作的能力。OmniParser不仅支持多种大型语言模型，还能够与Windows 11虚拟机结合使用，提供强大的界面控制功能。最新版本的OmniParser V2.0在性能和延迟方面都有显著提升，成为界面解析领域的领先工具。

功能列表

• 解析用户界面截图：将截图转化为结构化元素，便于理解和操作。
• 支持多种大型语言模型：包括OpenAI、DeepSeek、Qwen和Anthropic等。
• 控制Windows 11虚拟机：结合视觉模型，实现对虚拟机的全面控制。
• 提供详细的图标检测和功能描述：支持更精细的图标检测和交互元素预测。
• 高性能和低延迟：最新版本在性能和延迟方面有显著提升。

使用帮助

安装流程

1. 创建并激活虚拟环境：

   conda create -n "omni" python==3.12
conda activate omni

2. 安装必要的依赖：

   pip install -r requirements.txt

3. 下载V2版本的权重文件并放置在指定文件夹：

   rm -rf weights/icon_detect weights/icon_caption weights/icon_caption_florence
for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
mv weights/icon_caption weights/icon_caption_florence

使用流程

1. 运行Gradio Demo：

   python gradio_demo.py

2. 解析用户界面截图：
   • 上传或截取用户界面截图。
   • 使用OmniParser解析截图，生成结构化的界面元素。
3. 控制Windows 11虚拟机：
   • 结合视觉模型，实现对虚拟机的全面控制。
   • 支持多种大型语言模型，提升操作的准确性和效率。

详细功能操作

• 图标检测：OmniParser能够检测界面中的图标，并提供详细的功能描述，帮助用户快速理解和操作。
• 交互元素预测：预测界面中哪些元素是可交互的，提升用户体验。
• 高性能解析：最新版本在性能和延迟方面有显著提升，确保解析过程快速高效。