Microsoft Open-Source-Magic OmniParser-v2.0 Tutorials für die lokale Bereitstellung

Installation der Python-Umgebung

Ich bin hier mit einer bereits installierten Version: Python 3.11.5, auf die ich hier nicht eingehen werde, aber Sie können online Anleitungen finden, wenn Sie sie benötigen.

Installation von Anaconda

Ich bin hier mit einer bereits installierten Version: conda 23.7.4, die ich hier auch nicht beschreiben werde, aber Sie können Tutorials online finden, wenn Sie sie brauchen.

OmniParser installieren

git clone https://github.com/microsoft/OmniParser.git
cd OmniParser

Schaffung exklusiver Umgebungen

conda create -n "omni" python==3.11
conda aktivieren omni

Führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeitspakete herunterzuladen.

pip install -r anforderungen.txt

Herunterladen von microsoft/OmniParser-v2.0 Die Modelldatei, aber ich kann nicht auf die Website zugreifen (https://huggingface.co), also wählte ichhttps://hf-mirror.com/.

Suche nach microsoft/OmniParser-v2.0

Klicken Sie dort auf die Ordner icon_caption und icon_detect) und laden Sie die Dateien herunter.

Im Wesentlichen die folgenden sechs Dokumente.

icon_detect/train_args.yaml
icon_detect/model.pt
icon_detect/model.yaml
icon_caption/config.json
icon_caption/generation_config.json
icon_caption/model.safetensors

Erstellen Sie ein neues Verzeichnis im Projektverzeichnis wie folgt

mkdir -p gewichte/icon_detect
mkdir -p gewichte/icon_caption_florence

Das fertige Ergebnis sieht folgendermaßen aus:

Laden Sie die Dateien in den Ordner herunter, der den zuvor heruntergeladenen Dateien entspricht.

Führen Sie den Befehl python gradio_demo.py aus, und nach einer kurzen Wartezeit tritt der folgende Fehler auf.

[2025-02-25 20:11:26,669] [ WARNING] easyocr.py:80 - Weder CUDA noch MPS sind verfügbar - Standardeinstellung ist CPU. Hinweis: Dieses Modul ist mit einer GPU viel schneller.
Traceback (letzter Aufruf).
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connection.py", Zeile 203, in _new_conn
    sock = connection.create_connection(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3utilconnection.py", Zeile 85, in create_connection
    Err erheben
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3utilconnection.py", Zeile 73, in create_connection
    sock.connect(sa)
TimeoutError: Zeitüberschreitung
Die oben genannte Ausnahme war die direkte Ursache für die folgende Ausnahme.
Traceback (letzter Aufruf).
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connectionpool.py", Zeile 790, in urlopen
    Antwort = self._make_request(
               ^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connectionpool.py", Zeile 491, in _make_request
    raise new_e
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connectionpool.py", Zeile 467, in _make_request
    self._validate_conn(conn)
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connectionpool.py", Zeile 1096, in _validate_conn
    conn.connect()
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connection.py", Zeile 611, in connect
    self.sock = sock = self._new_conn()
                       ^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connection.py", Zeile 212, in _new_conn
    raise ConnectTimeoutError(
urllib3.exceptions.ConnectTimeoutError: (, 'Verbindung zu huggingface.co wurde unterbrochen (connect timeout=10)')
Die oben genannte Ausnahme war die direkte Ursache für die folgende Ausnahme.
Traceback (letzter Aufruf).
  Datei "D:DevelopmentToolsPythonLibsite-packagesrequestsadapters.py", Zeile 486, in send
    resp = conn.urlopen(
           ^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3connectionpool.py", Zeile 844, in urlopen
    Wiederholungen = Wiederholungen.increment(
              ^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesurllib3utilretry.py", Zeile 515, in increment
    raise MaxRetryError(_pool, url, reason) from reason # type: ignore[arg-type]
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /microsoft/Florence -2-base/resolve/main/config.json (Verursacht durch ConnectTimeoutError(, ' Verbindung zu huggingface.co wurde unterbrochen (connect timeout=10)'))
Während der Behandlung der oben genannten Ausnahme trat eine weitere Ausnahme auf.
Traceback (letzter Aufruf).
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 1376, in _get_metadata_or_catch_error
    metadata = get_hf_file_metadata(
               ^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubutils_validators.py", Zeile 114, in _inner_fn
    return fn(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 1296, in get_hf_file_metadata
    r = _request_wrapper(
        ^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 280, in _request_wrapper
    Antwort = _request_wrapper(
               ^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 303, in _request_wrapper
    response = get_session().request(method=method, url=url, **params)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesrequestssessions.py", Zeile 589, in request
    resp = self.send(prep, **send_kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesrequestssessions.py", Zeile 703, in send
    r = adapter.send(Anfrage, **kwargs)
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubutils_http.py", Zeile 96, in send
    return super().send(request, *args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesrequestsadapters.py", Zeile 507, in send
    raise ConnectTimeout(e, request=request)
requests.exceptions.ConnectTimeout: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: / microsoft/Florence-2-base/resolve/main/config.json (Verursacht durch ConnectTimeoutError(, 'Connection to huggingface.co timed out.(connect timeout=10)'))"), '(Request ID: 3ae795ae-e87f-45e3-8c1b-26c359494139) ')
Die oben genannte Ausnahme war die direkte Ursache für die folgende Ausnahme.
Traceback (letzter Aufruf).
  Datei "D:DevelopmentToolsPythonLibsite-packagesestransformersutilshub.py", Zeile 342, in cached_file
    resolved_file = hf_hub_download(
                    ^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubutils_validators.py", Zeile 114, in _inner_fn
    return fn(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 862, in hf_hub_download
    return _hf_hub_download_to_cache_dir(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 969, in _hf_hub_download_to_cache_dir
    _raise_on_head_call_error(head_call_error, force_download, local_files_only)
  Datei "D:DevelopmentToolsPythonLibsite-packageshuggingface_hubfile_download.py", Zeile 1489, in _raise_on_head_call_error
    raise LocalEntryNotFoundError(
huggingface_hub.errors.LocalEntryNotFoundError: Beim Versuch, die Datei auf dem Hub zu finden, ist ein Fehler aufgetreten, und wir können die angeforderten Dateien in Bitte überprüfen Sie Ihre Verbindung und versuchen Sie es erneut oder stellen Sie sicher, dass Ihre Internetverbindung eingeschaltet ist.
Die oben genannte Ausnahme war die direkte Ursache für die folgende Ausnahme.
Traceback (letzter Aufruf).
  Datei "E:OmniParsergradio_demo.py", Zeile 16, in
    caption_model_processor = get_caption_model_processor(model_name="florence2", model_name_or_path="weights/icon_caption_florence")
                              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "E:OmniParserutilutils.py", Zeile 63, in get_caption_model_processor
    processor = AutoProcessor.from_pretrained("microsoft/Florence-2-base", trust_remote_code=True)
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesestransformersmodelsautoprocessing_auto.py", Zeile 305, in from_pretrained
    config = AutoConfig.from_pretrained(
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesestransformersmodelsautoconfiguration_auto.py", Zeile 1075, in from_pretrained
    config_dict, unused_kwargs = PretrainedConfig.get_config_dict(pretrained_model_name_or_path, **kwargs)
                                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesestransformersconfiguration_utils.py", Zeile 594, in get_config_dict
    config_dict, kwargs = cls._get_config_dict(pretrained_model_name_or_path, **kwargs)
                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesestransformersconfiguration_utils.py", Zeile 653, in _get_config_dict
    resolved_config_file = cached_file(
                           ^^^^^^^^^^^^
  Datei "D:DevelopmentToolsPythonLibsite-packagesestransformersutilshub.py", Zeile 385, in cached_file
    raise EnvironmentError(
OSError: Wir konnten keine Verbindung zu 'https://huggingface.co' herstellen, um diese Datei zu laden, konnten sie nicht in den zwischengespeicherten Dateien finden und es sieht aus wie microsoft/Florence-2 -base ist nicht der Pfad zu einem Verzeichnis, das eine Datei namens config.json enthält.
Prüfen Sie Ihre Internetverbindung oder sehen Sie sich an, wie Sie die Bibliothek im Offline-Modus ausführen können: 'https://huggingface.co/docs/transformers/ installation#offline-mode'.

Es sieht nach vielen Fehlern aus, aber in Wirklichkeit sind es nur https://huggingface.co Der Grund für den fehlenden Zugriff. Ändern wir die Datei constants.py in der https://huggingface.co Ersetzen durchhttps://hf-mirror.com.

Aus diesem Grund suchte ich im Internet nach Anleitungen und fügte oben eine weitere Zeile mit Einstellungen hinzu.

Geben Sie den Befehl python gradio_demo.py erneut ein und er wird erfolgreich ausgeführt, wie unten gezeigt:

Geben Sie sie in Ihrem Browser ein:http://127.0.0.1:7861Die Ergebnisse sind nachstehend aufgeführt:

Machen Sie einen Screenshot des Desktops und lassen Sie ihn analysieren: