OmniParser: capturas de pantalla de la interfaz de usuario convertidas en elementos estructurados para facilitar la comprensión y manipulación de modelos de gran tamaño.

Introducción general

OmniParser es una herramienta desarrollada por Microsoft para analizar capturas de pantalla de la interfaz de usuario y convertirlas en elementos estructurados y fáciles de entender. Esta herramienta mejora significativamente la capacidad de GPT-4V para generar acciones precisas en el área de la interfaz correspondiente.OmniParser no sólo es compatible con una amplia gama de modelos de lenguaje de gran tamaño, sino que también se puede utilizar junto con la Máquina Virtual Windows 11 para proporcionar un potente control de la interfaz. La última versión de OmniParser V2.0 es la herramienta líder para el análisis sintáctico de interfaces, con importantes mejoras de rendimiento y latencia.

Lista de funciones

• Análisis sintáctico de capturas de pantalla de interfaces de usuario: transformación de capturas de pantalla en elementos estructurados fáciles de entender y manipular.
• Compatibilidad con múltiples modelos lingüísticos a gran escala: incluidos OpenAI, DeepSeek, Qwen y Anthropic.
• Control de máquinas virtuales de Windows 11: combinación con modelado visual para un control total de las máquinas virtuales.
• Detección detallada de iconos y descripciones funcionales: soporte para una detección más precisa de iconos y predicción de elementos de interacción.
• Alto rendimiento y baja latencia: la última versión ofrece mejoras significativas en rendimiento y latencia.

Utilizar la ayuda

Proceso de instalación

1. Crear y activar un entorno virtual:

   conda create -n "omni" python==3.12
conda activate omni

2. Instale las dependencias necesarias:

   pip install -r requirements.txt

3. Descargue la versión V2 del archivo de pesos y colóquelo en la carpeta especificada:

   rm -rf weights/icon_detect weights/icon_caption weights/icon_caption_florence
for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done
mv weights/icon_caption weights/icon_caption_florence

Proceso de utilización

1. Ejecute la demo de Gradio:

   python gradio_demo.py

2. Análisis de capturas de pantalla de la interfaz de usuario:
   • Sube o haz una captura de pantalla de la interfaz de usuario.
   • Utilice OmniParser para analizar capturas de pantalla y generar elementos de interfaz estructurados.
3. Control de máquinas virtuales Windows 11:
   • Combinado con un modelo visual, permite un control total de la máquina virtual.
   • Admite una amplia gama de modelos lingüísticos a gran escala para mejorar la precisión y la eficacia de las operaciones.

Funcionamiento detallado

• Detección de iconosOmniParser detecta los iconos de la interfaz y proporciona descripciones detalladas de sus funciones para ayudar a los usuarios a comprenderlos y utilizarlos rápidamente.
• Predicción de elementos de interacción: Predecir qué elementos de la interfaz son interactivos y mejoran la experiencia del usuario.
• Análisis de alto rendimientoLa última versión ofrece importantes mejoras de rendimiento y latencia para garantizar un análisis sintáctico rápido y eficaz.