OmniSVG: テキストと画像からSVGベクターグラフィックスを生成するオープンソースプロジェクト

はじめに

OmniSVGは、マルチモーダルモデルによる高品質なベクターグラフィックス（SVG）の生成に焦点を当てたオープンソースプロジェクトです。テキスト記述や画像入力からのSVG生成をサポートするために、事前に訓練された視覚言語モデルを使用しており、単純なアイコンから複雑なアニメキャラクターまで幅広いシナリオをカバーしています。OmniSVGは復旦大学とStepFunチームによって開発され、コードとドキュメントはGitHubにホストされている。プロジェクトは初期段階にあり、コアコードとモデルはまだ完全にリリースされていない。研究者や開発者が探索するのに適している。

機能一覧

• テキスト記述から編集可能なベクターグラフィックスを出力するSVG生成に対応。
• ラスター画像をベクター形式に変換するImage to SVGのサポート。
• 参照に基づく文体の統一性を維持するために、役割の一貫性生成を提供する。
• MMSVGデータセットがあり、アイコンやイラストのリソースを提供。
• SVG生成の品質を評価するためのMMSVG-Benchプロトコルを提供する。
• 高精細なイラストやキャラクターデザインのための複雑なSVG出力に対応。
• コアコードは将来的にオープンソース化され、ユーザーはモデルを修正したり最適化したりできるようになる。

ヘルプの使用

プロジェクト準備

OmniSVGは現在、完全な展開ファイルを提供しておらず、コアコードと事前学習済みモデルはまだリリースされていない。利用可能なドキュメントに基づき、ユーザーがデータにアクセスし、プロジェクトを理解するための準備手順を以下に示します：

1. クローン・コード・リポジトリ
   ターミナルを開き、以下のコマンドを実行してOmniSVGリポジトリを取得します：

   git clone https://github.com/OmniSVG/OmniSVG.git
   

   プロジェクト・カタログにアクセスする：

   cd OmniSVG
   

   現在のリポジトリには以下のファイルが含まれている：

   • assets/生成された結果を示すデモ画像やGIFを保存。
   • data/特定の目的のためのサンプルデータやメタデータを含む。 README.md.
   • LICENSEこのプロジェクトはオープンソースライセンスの下にあります。
   • README.mdプロジェクト概要、データセットへのリンク、今後の予定。
2. Python環境のチェック
   OmniSVGはPython 3.8+と機械学習ライブラリ（PyTorch、Transformersなど）に依存している。まだ利用可能ではありませんが requirements.txt以降のコードリリースでは、以下の基本ライブラリをインストールすることを推奨する：

   pip install torch transformers pillow numpy
   

   将来このコードがリリースされた場合、追加のライブラリーが必要になる可能性がある。

3. MMSVGデータセットをダウンロード
   MMSVGデータセットは、現在のプロジェクトのコアリソースであり、Hugging Faceでホストされている2つのサブセットを含んでいる：
   • MMSVGアイコンhttps://huggingface.co/OmniSVG/MMSVG-Icon
   • MMSVG-イラストレーションhttps://huggingface.co/OmniSVG/MMSVG-Illustration
     操作手順：
   • データセットのダウンロードは上記のリンクから。
   • ファイルを解凍します。 OmniSVG/datasets/ ディレクトリ（手動で作成可能）。
   • このデータセットには、アイコンやイラストを含む約200万件のSVGデータが含まれており、トレーニングや分析に適している。
4. デモ用リソースを見る
   assets/ フォルダにはデモGIFが含まれています（例 omnisvg-teaser.gifテキストからSVGへの変換とアニメキャラクター生成の過程を示している。ユーザーは以下の方法で見ることができる：
   • 見せる assets/ カタログのGIFをブラウザや画像ビューアで読み込む。
   • モデルの機能（複雑なパスを持つアニメキャラクターの生成など）については、GIFの入力例と出力例を参照してください。
5. 公式発表に注目
   現在のコードとモデルは公開されていないので、以下のチャンネルで最新情報を入手することをお勧めする：
   • GitHubリポジトリ：https://github.com/OmniSVG/OmniSVG
   • プロジェクトの公式サイト：https://omnisvg.github.io
   • ハグする顔のページ：https://huggingface.co/OmniSVG
     MMSVG-Characterのサブセットと、展開スクリプトとモデルウェイトを含むと予想される完全なコードをリリースする公式計画がある。

データセットの使用

MMSVGデータセットは、現在利用可能な主なリソースであり、以下にその利用方法を詳述する：

1.MMSVG-Iconサブセット

• 使用UIデザイン、ウェブ開発、モデルトレーニングのためのミニマルなSVGアイコンを収録。
• 手続き::
  • データセットをダウンロードしたら、解凍して次の場所に置く。 datasets/MMSVG-Icon/.
  • 例えば、Pythonスクリプトを使ってデータをナビゲートする：

    import os
    for file in os.listdir("datasets/MMSVG-Icon"):
    if file.endswith(".svg"):
    print(file)
    

  • ブラウザまたはInkscapeを使って）SVGファイルを開き、アイコンのスタイルを表示します。
• アプライアンスアイコン構造の分析、パスデータの抽出、モデル生成のための事前学習など。

2.MMSVG-Illustrationサブセット

• 使用アーティスティックなデザインやマルチモーダルな研究に適した複雑なイラストを収録。
• 手続き::
  • に解凍する。 datasets/MMSVG-Illustration/.
  • 同様のスクリプトを使って、イラストファイルを走査し、SVGの内容を調べる。
  • イラストはデザインソフト（Adobe Illustratorなど）に取り込んで編集することができます。
• 特性イラストには複数のパスと色が含まれており、複雑な形状を生成するモデルの能力を示しています。

3.MMSVGベンチ評価

• 使用MMSVG-Benchは、SVG生成の品質を評価するための標準化されたプロトコルです。
• 現在の状態評価スクリプトはまだリリースされていません。
• 予備将来の評価に備えて、データセットの構造をよく理解し、アイコンやイラストの特徴（パスの数や色の分布など）を記録しておく。
• 意図する機能公式の説明によると、MMSVG-Benchは、ユーザーがモデルをテストするのに役立つメトリクス（パスの正確さ、スタイルの一貫性など）を提供する。

機能プレビュー

コア・コードは公開されていないが、公式ドキュメントやデモでは以下の機能について詳しく説明されており、ユーザーは事前に知ることができる：

1.テキスト生成SVG

• 官能性ユーザがテキストの説明（例えば "赤い五芒星"）を入力すると、モデルがSVGファイルを生成する。
• デモンストレーション::assets/omnisvg-teaser.gif アイコンにテキストを生成するプロセスを示す。
• 意図した動作将来のコードがリリースされれば、ユーザーはスクリプトを実行し、プロンプトの単語を入力し、ベクターグラフィックスを出力することができます。
• 特性ウェブや印刷物のデザインのために、スケーラブルでロスレスな結果を生成します。

2.画像からSVGへ

• 官能性PNGまたはJPG画像を編集可能なSVGに変換します。
• デモンストレーションラスター画像をベクターパスに変換した公式ページ。
• 使用UI アイコンの最適化に適した、アウトラインと色を保持した複雑な画像変換をサポートします。
• 予想されるプロセス画像をアップロードして変換スクリプトを実行し、SVG出力を得る。

3.役割一貫性の生成

• 官能性参照SVGや画像をもとに、一貫したスタイルで新しいキャラクターグラフィックを生成します。
• デモンストレーション::assets/OmniSVG-demo-gen-proc-anime-1080.gif アニメのキャラクター生成を実演する。
• ゆうせいキャラクターの特徴（色やシルエットなど）を維持したまま、高精細な生成をサポートします。
• アプライアンスゲームデザイン、マルチアクションキャラクターの生成に適しています。

ほら

• プロジェクト状況現在利用できるのはデータセットとデモ用リソースのみで、コア機能はコードのリリースを待つ必要があります。
• 推奨ハードウェア将来的には、GPU（例えば、NVIDIAのグラフィックカード）を使って生成速度を上げる必要があるかもしれません。
• 文書参照::README.md と公式サイト(https://omnisvg.github.io)で最新情報を提供している。
• コミュニティへの参加GitHub Issuesで質問やフィードバックをすることで、開発者のサポートを受けることができます。

アプリケーションシナリオ

1. アイコンデータセットの分析
   デザイナーはMMSVG-Iconサブセットを使って、UIデザインのヒントを得るためにミニマリスト・アイコンのパス構造を研究する。
2. イラストリソース開発
   アーティストはMMSVG-Illustrationサブセットを閲覧し、広告や出版用に最適化された複雑なイラストを抽出します。
3. モデリング研究
   研究者たちはMMSVGデータセットを使って、新しいSVG生成モデルを開発し、マルチモーダル技術を探求した。
4. 教育リソース
   ベクターグラフィックスの生成原理をGIFの実演を通して説明し、デザインにおけるAIの活用を理解させる。

品質保証

1. OmniSVGは現在稼働中ですか？
   現在利用できるのはデータセットとデモ・リソースのみで、コア・コードとモデルはまだリリースされていないので、正式なアップデートを待つ必要がある。
2. MMSVGデータセットはどのように使われているのですか？
   アイコンやイラストのサブセットをダウンロードして解凍し、Pythonスクリプトやデザインソフトウェアで表示することができます。
3. プログラミングの経験が必要ですか？
   Pythonの基本的な知識は、将来モデルを実行するために必要になるかもしれません。
4. データセットは無料ですか？
   はい、MMSVG-IconとMMSVG-Illustrationは無料でHugging Faceで公開されています。
5. アニメのキャラクターを生成するには？
   現在、Role Conformance Generationのコードがリリースされるのを待っているが、デモGIFは期待される結果を示している。