Skywork-R1V: Ein grafisches hybrides multimodales Reasoning-Modell Open Source von Kunlun Wanwen

Allgemeine Einführung

Skywork-R1V ist ein vom SkyworkAI-Team (Kunlun Wanwei) entwickeltes und auf GitHub veröffentlichtes Open-Source-Modell für multimodale Schlussfolgerungen, das sowohl Bilder als auch Text verarbeiten kann, logische Schlussfolgerungen in mehreren Schritten durchführt und besonders gut in der Analyse komplexer Bildprobleme ist. Das Modell wurde offiziell am 18. März 2025 mit einer Parametergröße von 3,8 Milliarden gestartet. Es unterstützt die Gedankenkette (Chain-of-Thought), die Bildinhalte schrittweise zerlegen kann, um den Nutzern bei der Lösung von Problemen in Mathematik, Wissenschaft usw. zu helfen. Skywork-R1V soll die KI-Technologie vorantreiben und mehr Menschen leistungsstarke Argumentationswerkzeuge frei zugänglich machen. Skywork-R1V ist nicht nur leistungsstark, sondern bietet auch eine ausführliche Dokumentation und Code für Entwickler zur Nutzung und Verbesserung.

Funktionsliste

• Visuelles Denken Kette ReasoningDie Fähigkeit, den Inhalt von Bildern Schritt für Schritt zu analysieren, komplexe Fragen aufzuschlüsseln und klare Antworten zu geben.
• Mathematisches ProblemlösenErkennen Sie mathematische Fragen in Bildern und geben Sie hochpräzise Antworten.
• Wissenschaftliche BildinterpretationAnalyse medizinischer oder wissenschaftlicher Bilder, um wichtige Informationen zu extrahieren.
• Modulationsübergreifendes VerständnisKombiniert Text und Bilder, um umfassendere Schlussfolgerungen zu ermöglichen.
• Open-Source-UnterstützungDer vollständige Code und die Modelle werden zur Verfügung gestellt, so dass die Benutzer sie frei ändern und einsetzen können.

Hilfe verwenden

Skywork-R1V ist ein Open-Source-Projekt. Benutzer müssen es über GitHub herunterladen und die Umgebung lokal konfigurieren, um es zu verwenden. Hier finden Sie eine detaillierte Anleitung für einen schnellen Einstieg.

Einbauverfahren

1. Vorbereiten der Umgebung
   • Stellen Sie sicher, dass Sie Python 3.8 oder höher auf Ihrem Computer installiert haben. Dies können Sie mit dem Befehl python --version Prüfen.
   • Um den Code herunterzuladen, muss Git installiert sein. Windows-Benutzer können ihn von der offiziellen Website herunterladen, und Linux- oder Mac-Benutzer können ihn über das Terminal herunterladen, indem sie Folgendes eingeben sudo apt install git vielleicht brew install git Einbau.
   • Eine GPU-Umgebung (z. B. NVIDIA-Grafikkarte) wird empfohlen, um die Leistung zu verbessern, und CUDA und cuDNN müssen installiert sein.
2. Code herunterladen
   • Öffnen Sie ein Terminal oder eine Befehlszeile und geben Sie den folgenden Befehl ein, um das Repository zu klonen:

     git clone https://github.com/SkyworkAI/Skywork-R1V.git
     

   • Wechseln Sie in den Projektordner:

     cd Skywork-R1V
     

3. Installation von Abhängigkeiten
   • Das Projekt bietet eine Abhängigkeitsdatei <requirements.txt>. Führen Sie den folgenden Befehl aus, um die erforderlichen Bibliotheken zu installieren:

     pip install -r requirements.txt
     

   • Wenn Sie die Argumentation beschleunigen wollen, installieren Sie Flash Attention:

     pip install flash-attn --no-build-isolation
     

4. Modelle herunterladen
   • Die Modelldateien für Skywork-R1V werden auf Hugging Face gehostet. Zugang https://huggingface.co/Skywork/Skywork-R1V-38Bladen Sie die Modelldatei manuell herunter, oder verwenden Sie den folgenden Befehl:

     huggingface-cli download Skywork/Skywork-R1V-38B --local-dir ./model
     

   • Legen Sie die heruntergeladenen Modelldateien in das Projektverzeichnis unter dem Ordner model Mappe.
5. Konfigurieren der Laufzeitumgebung
   • Wenn es mehr als einen Grafikprozessor gibt, legen Sie die sichtbaren Geräte fest. Verwenden Sie zum Beispiel zwei GPUs:

     export CUDA_VISIBLE_DEVICES="0,1"
     

Verwendung der wichtigsten Funktionen

Die Kernfunktion von Skywork-R1V ist das Durchdenken von Bildern und Texten. Im Folgenden wird die Vorgehensweise beschrieben.

Funktion 1: Visuelle Gedankenkette Reasoning

• Vorbereiten auf den EintrittSpeichern von Bildern, die lokal analysiert werden sollen (z. B. mathematische Themen oder wissenschaftliche Diagramme), z. B. image1.jpg.
• Vorbereitung der FragenFrage: Geben Sie die Frage im Code an. Sie möchten zum Beispiel fragen: "Wie lautet die Antwort auf die mathematische Frage im Bild?". .
• logische Schlussfolgerung:: Leitartikel <inference_with_transformers.py> Datei, geben Sie den Bildpfad und die Frage ein:

  image_paths = ["image1.jpg"]
  question = "图片中的数学题答案是什么？"

• einen Befehl ausführenLäuft im Terminal:

  python inference_with_transformers.py --model_path ./model --image_paths image1.jpg --question "图片中的数学题答案是什么？"
  

• Ergebnisse anzeigenDas Programm gibt den Schritt-für-Schritt-Argumentationsprozess und die endgültige Antwort aus.

Funktion 2: Mathematisches Problemlösen

• EingabebildHochladen von Bildern, die mathematische Formeln enthalten, z. B. handgeschriebene oder gedruckte Titel.
• laufender CodeÄhnlich wie bei der visuellen Gedankenkette stellen Sie das Problem auf "Lösen Sie eine mathematische Aufgabe in einem Bild" und führen Sie es aus:

  python inference_with_transformers.py --model_path ./model --image_paths math_image.jpg --question "求解图片中的数学问题"
  

• Ergebnisse ShowcaseDas Modell erkennt die Formel, errechnet sie Schritt für Schritt und gibt schließlich die Antwort.

Funktion 3: Wissenschaftliche Bildinterpretation

• Ein Bild hochladenMedizinische Bilder oder wissenschaftliche Diagramme vorbereiten, z. B. Röntgenbilder oder Bilder von Zellmikroskopen.
• Fragen stellenGeben Sie spezifische Fragen ein, wie z. B. "Wie sieht die Zellstruktur auf dem Bild aus?" .
• laufendes Programm::

  python inference_with_transformers.py --model_path ./model --image_paths science_image.jpg --question "图片中的细胞结构是什么？"
  

• LeistungsanalyseDas Modell extrahiert Bildmerkmale und gibt eine detaillierte Erklärung in Verbindung mit dem Problem.

Vorsichtsmaßnahmen bei der Handhabung

• BildformatGängige Formate wie JPG und PNG werden unterstützt, und eine hohe Bildschärfe wird empfohlen.
• Hardware-VoraussetzungLäuft auf Computern ohne Grafikprozessoren, ist aber langsam. Mindestens 16 GB RAM werden empfohlen.
• Debugging-ProblemeWenn Sie auf einen Fehler stoßen, überprüfen Sie die <requirements.txt> für eine vollständige Installation, oder schauen Sie auf der Issues-Seite auf GitHub nach Hilfe.

Mit den oben beschriebenen Schritten können Sie Skywork-R1V problemlos zur Bearbeitung von Bild- und Textaufgaben verwenden. Für fortgeschrittene Anwendungen können Sie die offizielle Dokumentation zu Rate ziehen <Skywork_R1V.pdf>.

Anwendungsszenario

1. Pädagogische Hilfsmittel
   Die Schüler können Skywork-R1V verwenden, um Bildfragen in ihren Mathehausaufgaben zu analysieren, um schnelle Antworten und Schritte zur Lösung der Fragen zu erhalten, was zum Verständnis der Punkte beiträgt.
2. wissenschaftliche Forschung
   Forscher können Bilder von ihren Experimenten hochladen, damit das Modell die Daten oder Bildinhalte interpretieren kann, was die Analysezeit verkürzt.
3. Medizinische Unterstützung
   Ärzte können Röntgen- oder Mikroskopbilder für eine erste Diagnose eingeben und so die Arbeitseffizienz verbessern.

QA

1. Welche Sprachen werden von Skywork-R1V unterstützt?
   Derzeit ist die wichtigste Unterstützung für Chinesisch und Englisch, Texteingabe und -ausgabe kann in beiden Sprachen erfolgen.
2. Muss ich bezahlen?
   Nein. Skywork-R1V ist vollständig quelloffen und der Code und die Modelle sind kostenlos erhältlich.
3. Funktioniert es auch ohne eine GPU?
   Es ist möglich, aber die Inferenz wird viel langsamer sein. Es wird empfohlen, die Bildauflösung bei Verwendung der CPU zu verringern.