OmniSVG: aus Text und Bildern SVG-Vektorgrafiken erzeugen Open-Source-Projekt

Allgemeine Einführung

OmniSVG ist ein Open-Source-Projekt, das sich auf die Erzeugung hochwertiger Vektorgrafiken (SVG) durch ein multimodales Modell konzentriert. Es verwendet vortrainierte visuell-linguistische Modelle zur Unterstützung der SVG-Generierung aus Textbeschreibungen oder Bildeingaben, die eine breite Palette von Szenarien von einfachen Icons bis zu komplexen Anime-Figuren abdecken. OmniSVG wird von der Fudan-Universität und dem StepFun-Team entwickelt, wobei der Code und die Dokumentation auf GitHub gehostet werden. Das Projekt befindet sich in einem frühen Stadium, und der Kerncode und die Modelle wurden noch nicht vollständig veröffentlicht; der Datensatz und das Evaluierungsprotokoll, MMSVG-Bench, wurden jedoch bereitgestellt und können von Forschern und Entwicklern untersucht werden. Entwickler zur Verfügung.

Funktionsliste

• Unterstützt die SVG-Generierung von Textbeschreibungen zur Ausgabe editierbarer Vektorgrafiken.
• Unterstützung von Image to SVG zur Umwandlung von Rasterbildern in das Vektorformat.
• Erzeugung von Rollenkonsistenz, um stilistische Einheitlichkeit auf der Grundlage von Referenzen zu gewährleisten.
• Enthält den MMSVG-Datensatz und bietet Ressourcen für Icons und Illustrationen.
• Stellt das MMSVG-Bench-Protokoll zur Verfügung, um die Qualität der SVG-Generierung zu bewerten.
• Unterstützt komplexe SVG-Ausgaben für hochdetaillierte Illustrationen und Zeichendesigns.
• Der Kerncode wird in Zukunft als Open Source zur Verfügung gestellt werden, so dass die Nutzer das Modell verändern und optimieren können.

Hilfe verwenden

Projektvorbereitung

OmniSVG stellt derzeit keine vollständigen Einsatzdateien zur Verfügung, und der Kerncode und die trainierten Modelle wurden noch nicht veröffentlicht. Die folgenden vorbereitenden Schritte, die sich auf die verfügbare Dokumentation stützen, sollen den Benutzern den Zugriff auf die Daten und das Verständnis des Projekts erleichtern:

1. Code-Repository klonen
   Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus, um das OmniSVG-Repository abzurufen:

   git clone https://github.com/OmniSVG/OmniSVG.git
   

   Rufen Sie den Projektkatalog auf:

   cd OmniSVG
   

   Das aktuelle Repository enthält die folgenden Dateien:

   • assets/Speichern von Demobildern und GIFs zur Veranschaulichung der generierten Ergebnisse.
   • data/: Enthält Beispieldaten oder Metadaten für bestimmte Zwecke. README.md.
   • LICENSEDas Projekt steht unter einer Open-Source-Lizenz (siehe Dokumentation für die spezifischen Bedingungen).
   • README.mdBietet eine kurze Beschreibung des Projekts, Links zu Datensätzen und zukünftige Pläne.
2. Überprüfen der Python-Umgebung
   OmniSVG basiert auf Python 3.8+ und Bibliotheken für maschinelles Lernen (z.B. PyTorch, Transformers). Es ist zwar noch nicht möglich, die requirements.txtEs wird empfohlen, dass die folgenden Basisbibliotheken für nachfolgende Codeversionen installiert werden:

   pip install torch transformers pillow numpy
   

   Wenn der Code in der Zukunft veröffentlicht wird, können zusätzliche Bibliotheken erforderlich sein; lesen Sie zu diesem Zeitpunkt die offizielle Dokumentation.

3. MMSVG-Datensatz herunterladen
   Der MMSVG-Datensatz ist die derzeitige Kernressource für das Projekt und enthält zwei Teilmengen, die bei Hugging Face gehostet werden:
   • MMSVG-Symbol:https://huggingface.co/OmniSVG/MMSVG-Icon
   • MMSVG-Illustration:https://huggingface.co/OmniSVG/MMSVG-Illustration
     Betriebsverfahren:
   • Über den obigen Link können Sie den Datensatz herunterladen.
   • Entpacken Sie die Datei, es wird empfohlen, sie im Verzeichnis OmniSVG/datasets/ Verzeichnis (kann manuell erstellt werden).
   • Der Datensatz enthält etwa 2 Millionen SVG-Daten, die Icons und Illustrationen abdecken und sich für Schulungen und Analysen eignen.
4. Demo-Ressourcen anzeigen
   assets/ Ordner enthält Demo-GIFs (z. B. omnisvg-teaser.gif), die den Prozess der Umwandlung von Text in SVG und die Erzeugung von Anime-Zeichen zeigt. Die Benutzer können es auf folgende Weise betrachten:
   • zeigen (eine Eintrittskarte) assets/ Katalog, laden Sie das GIF mit Ihrem Browser oder Bildbetrachter.
   • In den Eingabe- und Ausgabebeispielen im GIF finden Sie Informationen zu den Möglichkeiten des Modells (z. B. zur Erzeugung von Anime-Figuren mit komplexen Pfaden).
5. Warten Sie auf offizielle Updates
   Der aktuelle Code und das Modell werden nicht veröffentlicht, daher empfehlen wir, die unten aufgeführten Kanäle für Aktualisierungen zu verfolgen:
   • GitHub-Repositories:https://github.com/OmniSVG/OmniSVG
   • Offizielle Website des Projekts:https://omnisvg.github.io
   • Seite "Umarmendes Gesicht":https://huggingface.co/OmniSVG
     Es gibt offizielle Pläne, eine Teilmenge von MMSVG-Character und den vollständigen Code zu veröffentlichen, der voraussichtlich Deployment-Skripte und Modellgewichte enthalten wird.

Verwendung des Datensatzes

Der MMSVG-Datensatz ist die wichtigste derzeit verfügbare Ressource, und im Folgenden wird beschrieben, wie er verwendet werden kann:

1. die Teilmenge MMSVG-Icon

• verwenden.Enthält minimalistische SVG-Symbole für UI-Design, Webentwicklung und Modellschulung.
• Verfahren::
  • Nachdem Sie den Datensatz heruntergeladen haben, entpacken Sie ihn nach datasets/MMSVG-Icon/.
  • Verwenden Sie zum Beispiel Python-Skripte, um durch die Daten zu navigieren:

    import os
    for file in os.listdir("datasets/MMSVG-Icon"):
    if file.endswith(".svg"):
    print(file)
    

  • Öffnen Sie die SVG-Datei (mit einem Browser oder Inkscape) und sehen Sie sich den Symbolstil an.
• Gerät: Analyse von Icon-Strukturen, Extraktion von Pfaddaten oder Pre-Training für die Erstellung von Modellen.

2. die Teilmenge MMSVG-Illustration

• verwenden.Enthält komplexe Illustrationen, die sich für künstlerische Gestaltung und multimodale Studien eignen.
• Verfahren::
  • Auszug nach datasets/MMSVG-Illustration/.
  • Verwenden Sie ein ähnliches Skript, um die Illustrationsdatei zu durchsuchen und den SVG-Inhalt zu untersuchen.
  • Illustrationen können zur Bearbeitung in eine Designsoftware (z. B. Adobe Illustrator) importiert werden.
• BesonderheitenIllustrationen enthalten mehrere Pfade und Farben, was die Fähigkeit des Modells, komplexe Formen zu erzeugen, demonstriert.

3. die MMSVG-Bench-Bewertung

• verwenden.MMSVG-Bench: MMSVG-Bench ist ein standardisiertes Protokoll zur Bewertung der Qualität der SVG-Generierung.
• aktueller StandDas Evaluationsskript ist noch nicht freigegeben, da der Code noch nicht aktualisiert wurde.
• vorläufigMachen Sie sich mit der Struktur des Datensatzes vertraut und notieren Sie die Merkmale der Icons und Abbildungen (z.B. Anzahl der Pfade, Farbverteilung) zur Vorbereitung auf zukünftige Auswertungen.
• Beabsichtigte FunktionLaut der offiziellen Beschreibung wird MMSVG-Bench Metriken (z.B. Pfadgenauigkeit, Stilkonsistenz) bereitstellen, um den Benutzern beim Testen von Modellen zu helfen.

Funktionsvorschau

Während der Kerncode noch nicht veröffentlicht wurde, bieten die offizielle Dokumentation und die Demos detaillierte Beschreibungen der folgenden Funktionen, über die sich die Benutzer im Voraus informieren können:

1. die Texterzeugung SVG

• FunktionalitätDer Benutzer gibt eine Textbeschreibung ein (z.B. "ein rotes Pentagramm") und das Modell erzeugt eine SVG-Datei.
• Demonstrationen::assets/omnisvg-teaser.gif Demonstration des Prozesses der Erstellung von Text zu Symbolen.
• Beabsichtigter BetriebWenn der zukünftige Code veröffentlicht wird, können Benutzer das Skript ausführen, Eingabeaufforderungen eingeben und Vektorgrafiken ausgeben.
• BesonderheitenGenerieren Sie Ergebnisse, die skalierbar und verlustfrei für Web- und Printdesign sind.

2) Bild zu SVG

• FunktionalitätKonvertiert PNG- oder JPG-Bilder in bearbeitbare SVG.
• DemonstrationenOffizielle Seite mit Beispielen von in Vektorpfade umgewandelten Rasterbildern.
• verwenden.Unterstützung für komplexe Bildkonvertierung unter Beibehaltung von Konturen und Farben, geeignet für die Optimierung von UI-Symbolen.
• Voraussichtlicher ProzessHochladen des Bildes, Ausführen des Konvertierungsskripts und Abrufen der SVG-Ausgabe.

3. die Erzeugung von Rollenkonsistenz

• FunktionalitätGenerieren Sie neue Zeichengrafiken in einem einheitlichen Stil auf der Grundlage von Referenz-SVGs oder Bildern.
• Demonstrationen::assets/OmniSVG-demo-gen-proc-anime-1080.gif Demonstration der Erzeugung von Anime-Zeichen.
• SchneidkanteUnterstützt die Generierung einer hohen Detailgenauigkeit unter Beibehaltung der Charaktermerkmale (z. B. Farben, Silhouetten).
• GerätGeeignet für die Entwicklung von Spielen und die Erstellung von Multi-Action-Charakteren.

caveat

• ProjektstatusDerzeit sind nur Datensätze und Demoressourcen verfügbar, die Kernfunktionalität muss auf die Veröffentlichung des Codes warten.
• Hardware-EmpfehlungenKünftige Modelle erfordern möglicherweise einen Grafikprozessor (z. B. eine NVIDIA-Grafikkarte), um die Generierung zu beschleunigen.
• Hinweis auf die Dokumentation::README.md und die offizielle Website (https://omnisvg.github.io), um aktuelle Informationen bereitzustellen.
• Engagement der GemeinschaftHolen Sie sich Unterstützung für Entwickler, indem Sie Fragen stellen oder über GitHub Issues Feedback geben.

Anwendungsszenario

1. Analyse von Icon-Datensätzen
   Designer verwenden die Untergruppe MMSVG-Icon, um die Pfadstruktur von minimalistischen Icons zu studieren und sich so Anregungen für das UI-Design zu holen.
2. Illustration Ressourcenentwicklung
   Künstler durchsuchen die Teilmenge MMSVG-Illustration, um komplexe Illustrationen zu extrahieren, die für Werbung oder Veröffentlichungen optimiert sind.
3. Modellierungsstudien
   Die Forscher nutzten den MMSVG-Datensatz, um neue SVG-Generierungsmodelle zu entwickeln und multimodale Techniken zu untersuchen.
4. Bildungsressourcen
   Die Lehrkräfte erklären die Grundsätze der Erstellung von Vektorgrafiken, indem sie GIFs vorführen, um den Schülern die Verwendung von KI im Design näher zu bringen.

QA

1. Ist OmniSVG derzeit in Betrieb?
   Derzeit sind nur der Datensatz und die Demoressourcen verfügbar, der Kerncode und die Modelle sind noch nicht freigegeben, wir müssen auf das offizielle Update warten.
2. Wie wird der MMSVG-Datensatz verwendet?
   Laden Sie eine Teilmenge von Symbolen oder Illustrationen herunter, entpacken Sie sie und zeigen Sie sie mit einem Python-Skript oder einer Design-Software an, geeignet für Schulungen oder Design.
3. Programmiererfahrung erforderlich?
   Für das Durchsuchen des Datensatzes ist keine Programmierung erforderlich; für die Ausführung des Modells sind möglicherweise grundlegende Python-Kenntnisse erforderlich, die in der Dokumentation erläutert werden.
4. Sind die Datensätze kostenlos?
   Ja, MMSVG-Icon und MMSVG-Illustration sind kostenlos und offen bei Hugging Face.
5. Wie erzeugt man Anime-Figuren?
   Derzeit warten wir auf die Freigabe des Role Conformance Generation Codes. Das Demo-GIF zeigt das erwartete Ergebnis.