OmniParser: Bildschirmfotos der Benutzeroberfläche werden in strukturierte Elemente zerlegt, um das Verständnis und die Bearbeitung großer Modelle zu erleichtern

Allgemeine Einführung

OmniParser ist ein von Microsoft entwickeltes Werkzeug, um Screenshots von Benutzeroberflächen in strukturierte und leicht verständliche Elemente zu zerlegen. OmniParser unterstützt nicht nur eine breite Palette von großen Sprachmodellen, sondern kann auch in Verbindung mit der Windows 11 Virtual Machine verwendet werden, um eine leistungsstarke Steuerung der Benutzeroberfläche zu ermöglichen. Die neueste Version von OmniParser V2.0 ist das führende Tool für das Parsen von Schnittstellen mit erheblichen Leistungs- und Latenzverbesserungen.

Funktionsliste

• Parsing von Benutzeroberflächen-Screenshots: Umwandlung von Screenshots in strukturierte Elemente, die leicht zu verstehen und zu bearbeiten sind.
• Unterstützung für mehrere groß angelegte Sprachmodelle: einschließlich OpenAI, DeepSeek, Qwen und Anthropic.
• Steuerung von Windows 11 VMs: Kombiniert mit visueller Modellierung für die vollständige Kontrolle von VMs.
• Detaillierte Erkennung von Symbolen und Funktionsbeschreibungen: Unterstützung einer feineren Erkennung von Symbolen und Vorhersage von Interaktionselementen.
• Hohe Leistung und geringe Latenz: Die neueste Version bietet erhebliche Verbesserungen bei Leistung und Latenz.

Hilfe verwenden

Ablauf der Installation

1. Erstellen und aktivieren Sie eine virtuelle Umgebung:

   conda create -n "omni" python==3.12
conda aktivieren omni

2. Installieren Sie die erforderlichen Abhängigkeiten:

   pip install -r anforderungen.txt

3. Laden Sie die V2-Version der Gewichte-Datei herunter und legen Sie sie in dem angegebenen Ordner ab:

   rm -rf weights/icon_detect weights/icon_caption weights/icon_caption_florence
for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir Gewichte; erledigt
mv gewichte/icon_caption gewichte/icon_caption_florence

Verwendung Prozess

1. Führen Sie die Gradio-Demo aus:

   python gradio_demo.py

2. Analyse von Bildschirmfotos der Benutzeroberfläche:
   • Laden Sie einen Screenshot der Benutzeroberfläche hoch oder machen Sie einen Screenshot.
   • Verwenden Sie OmniParser, um Screenshots zu analysieren und strukturierte Oberflächenelemente zu erzeugen.
3. Steuerung von virtuellen Windows 11-Maschinen:
   • In Verbindung mit einem visuellen Modell ermöglicht es die vollständige Kontrolle über die virtuelle Maschine.
   • Unterstützt eine breite Palette von umfangreichen Sprachmodellen, um die Genauigkeit und Effizienz von Vorgängen zu verbessern.

Detaillierte Funktionsweise

• Icon-ErkennungOmniParser erkennt Symbole in der Benutzeroberfläche und liefert detaillierte Beschreibungen ihrer Funktionen, damit die Benutzer sie schnell verstehen und bedienen können.
• Vorhersage von InteraktionselementenVorhersage, welche Elemente der Benutzeroberfläche interaktiv sind und das Benutzererlebnis verbessern.
• HochleistungsanalyseDie neueste Version bietet erhebliche Leistungs- und Latenzverbesserungen, um ein schnelles und effizientes Parsing zu gewährleisten.