OmniSVG: 텍스트와 이미지에서 SVG 벡터 그래픽 오픈 소스 프로젝트를 생성합니다.

일반 소개

OmniSVG는 멀티모달 모델을 통해 고품질 벡터 그래픽(SVG)을 생성하는 데 중점을 둔 오픈 소스 프로젝트입니다. 사전 학습된 시각 언어 모델을 사용하여 텍스트 설명이나 이미지 입력에서 SVG 생성을 지원하며, 간단한 아이콘부터 복잡한 애니메이션 캐릭터까지 다양한 시나리오를 다룹니다. 이 프로젝트는 아이콘과 일러스트레이션 하위 집합을 포함한 MMSVG 데이터 세트와 향후 추가될 캐릭터 하위 집합을 제공합니다. OmniSVG는 푸단대학교와 StepFun 팀이 개발했으며 코드와 문서는 GitHub에 호스팅되어 있습니다.이 프로젝트는 초기 단계로 핵심 코드와 모델은 아직 완전히 공개되지 않았지만 데이터 세트와 평가 프로토콜인 MMSVG-Bench는 제공되어 연구자 및 개발자 개발자들이 탐색하기에 적합합니다.

기능 목록

• 텍스트 설명부터 편집 가능한 벡터 그래픽 출력까지 SVG 생성을 지원합니다.
• 래스터 이미지를 벡터 형식으로 변환하기 위해 이미지에서 SVG로 변환을 지원합니다.
• 참조를 기반으로 문체의 일관성을 유지하기 위해 역할 일관성 생성을 제공합니다.
• 아이콘과 일러스트레이션에 대한 리소스를 제공하는 MMSVG 데이터 세트가 포함되어 있습니다.
• SVG 생성 품질을 평가하기 위한 MMSVG-Bench 프로토콜을 제공합니다.
• 매우 섬세한 일러스트레이션과 캐릭터 디자인을 위한 복잡한 SVG 출력을 지원합니다.
• 핵심 코드는 향후 오픈소스로 공개되어 사용자가 모델을 수정하고 최적화할 수 있습니다.

도움말 사용

프로젝트 준비

OmniSVG는 현재 전체 배포 파일을 제공하지 않으며, 핵심 코드와 사전 학습된 모델은 아직 출시되지 않았습니다. 사용자가 데이터에 액세스하고 프로젝트를 이해할 수 있도록 사용 가능한 설명서를 기반으로 다음과 같은 준비 단계가 제공됩니다:

1. 복제 코드 리포지토리
   터미널을 열고 다음 명령을 실행하여 OmniSVG 리포지토리를 가져옵니다:

   git clone https://github.com/OmniSVG/OmniSVG.git
   

   프로젝트 카탈로그로 이동합니다:

   cd OmniSVG
   

   현재 리포지토리에는 다음 파일이 포함되어 있습니다:

   • assets/생성된 결과를 보여주기 위해 데모 이미지와 GIF를 저장합니다.
   • data/특정 목적을 위한 예제 데이터 또는 메타데이터가 포함되어 있습니다. README.md.
   • LICENSE이 프로젝트는 오픈 소스 라이선스에 따라 운영됩니다(구체적인 조건은 문서 참조).
   • README.md프로젝트에 대한 간략한 설명, 데이터 세트 링크 및 향후 계획을 제공합니다.
2. Python 환경 확인
   OmniSVG는 Python 3.8+ 및 머신 러닝 라이브러리(예: PyTorch, Transformers)를 사용합니다. 아직 사용 가능하지는 않지만 requirements.txt후속 코드 릴리스를 위해 다음 기본 라이브러리를 설치하는 것이 좋습니다:

   pip install torch transformers pillow numpy
   

   향후 코드가 공개될 경우 추가 라이브러리가 필요할 수 있으므로 해당 시점의 공식 문서를 참조하세요.

3. MMSVG 데이터 세트 다운로드
   MMSVG 데이터 세트는 현재 프로젝트의 핵심 리소스이며, Hugging Face에서 호스팅되는 두 개의 하위 집합을 포함합니다:
   • MMSVG-아이콘:https://huggingface.co/OmniSVG/MMSVG-Icon
   • MMSVG-일러스트:https://huggingface.co/OmniSVG/MMSVG-Illustration
     운영 절차:
   • 데이터 세트를 다운로드하려면 위의 링크를 방문하세요.
   • 파일의 압축을 풀고, 파일은 OmniSVG/datasets/ 디렉토리(수동으로 생성 가능).
   • 이 데이터 세트에는 교육이나 분석에 적합한 아이콘과 일러스트를 포함하는 약 200만 개의 SVG 데이터가 포함되어 있습니다.
4. 데모 리소스 보기
   assets/ 폴더에는 데모 GIF가 포함되어 있습니다(예 omnisvg-teaser.gif), 텍스트가 SVG로 변환되는 과정과 애니메이션 캐릭터 생성 과정을 보여줍니다. 사용자는 다음과 같은 방법으로 볼 수 있습니다:
   • 쇼(티켓) assets/ 카탈로그에서 브라우저 또는 이미지 뷰어로 GIF를 로드합니다.
   • 모델 기능(예: 복잡한 경로를 가진 애니메이션 캐릭터 생성)은 GIF의 입력 및 출력 예시를 참조하세요.
5. 공식 업데이트 확인
   현재 코드와 모델은 공개되지 않았으므로 아래 채널을 팔로우하여 업데이트를 확인하는 것이 좋습니다:
   • GitHub 리포지토리:https://github.com/OmniSVG/OmniSVG
   • 프로젝트 공식 웹사이트:https://omnisvg.github.io
   • 포옹하는 얼굴 페이지:https://huggingface.co/OmniSVG
     배포 스크립트 및 모델 가중치가 포함될 것으로 예상되는 MMSVG-Character의 하위 집합과 전체 코드를 공개할 공식 계획이 있습니다.

데이터 집합 사용

현재 사용 가능한 주요 리소스는 MMSVG 데이터 세트이며, 사용 방법은 아래에 자세히 설명되어 있습니다:

1. MMSVG-아이콘 하위 집합

• 사용UI 디자인, 웹 개발 및 모델 트레이닝을 위한 미니멀한 SVG 아이콘이 포함되어 있습니다.
• 절차::
  • 데이터 세트를 다운로드한 후 다음 위치에 압축을 풉니다. datasets/MMSVG-Icon/.
  • 예를 들어 Python 스크립트를 사용하여 데이터를 탐색할 수 있습니다:

    import os
    for file in os.listdir("datasets/MMSVG-Icon"):
    if file.endswith(".svg"):
    print(file)
    

  • 브라우저 또는 잉크스케이프를 사용하여 SVG 파일을 열고 아이콘 스타일을 확인합니다.
• 어플라이언스아이콘 구조 분석, 경로 데이터 추출 또는 모델 생성을 위한 사전 학습.

2. MMSVG-일러스트레이션 하위 집합

• 사용예술적 디자인 및 멀티모달 학습에 적합한 복잡한 일러스트를 포함합니다.
• 절차::
  • 다음 주소로 압축을 풉니다. datasets/MMSVG-Illustration/.
  • 유사한 스크립트를 사용하여 일러스트레이션 파일을 탐색하고 SVG 콘텐츠를 검사합니다.
  • 일러스트레이션은 디자인 소프트웨어(예: Adobe Illustrator)로 가져와서 편집할 수 있습니다.
• 특수성일러스트레이션에는 여러 경로와 색상이 포함되어 있어 복잡한 모양을 생성하는 모델의 기능을 보여줍니다.

3. MMSVG-벤치 평가

• 사용MMSVG-Bench는 SVG 생성 품질을 평가하기 위한 표준화된 프로토콜입니다.
• 현재 상태평가 스크립트는 아직 공개되지 않았으며 코드 업데이트를 기다리는 중입니다.
• 예비데이터 세트의 구조를 숙지하고 향후 평가에 대비하여 아이콘과 그림의 특성(예: 경로 수, 색상 분포)을 기록합니다.
• 의도된 기능공식 설명에 따르면 MMSVG-Bench는 사용자가 모델을 테스트하는 데 도움이 되는 메트릭(예: 경로 정확도, 스타일 일관성)을 제공합니다.

기능 미리보기

핵심 코드가 공개되지는 않았지만 공식 문서와 데모를 통해 다음 기능에 대한 자세한 설명을 확인할 수 있으며, 사용자는 이를 통해 미리 알아볼 수 있습니다:

1. 텍스트 생성 SVG

• 기능사용자가 텍스트 설명(예: "빨간색 오각형")을 입력하면 모델이 SVG 파일을 생성합니다.
• 데모::assets/omnisvg-teaser.gif 텍스트를 아이콘으로 생성하는 과정을 시연합니다.
• 의도된 작동향후 코드가 공개되면 사용자는 스크립트를 실행하고 프롬프트 단어를 입력한 후 벡터 그래픽을 출력할 수 있습니다.
• 특수성웹 및 인쇄 디자인에 맞게 확장 가능하고 손실 없는 결과물을 생성합니다.

2. 이미지를 SVG로 변환

• 기능PNG 또는 JPG 이미지를 편집 가능한 SVG로 변환합니다.
• 데모벡터 경로로 변환된 래스터 이미지의 예시를 보여주는 공식 페이지입니다.
• 사용복잡한 이미지 변환 지원, 윤곽선 및 색상 보존, UI 아이콘 최적화에 적합.
• 예상 프로세스이미지를 업로드하고 변환 스크립트를 실행한 후 SVG 출력을 가져옵니다.

3. 역할 일관성 생성

• 기능참조 SVG 또는 이미지를 기반으로 일관된 스타일로 새로운 캐릭터 그래픽을 생성합니다.
• 데모::assets/OmniSVG-demo-gen-proc-anime-1080.gif 애니메이션 캐릭터 생성을 시연합니다.
• 최첨단캐릭터의 특징(예: 색상, 실루엣)을 유지하면서 높은 디테일 생성을 지원합니다.
• 어플라이언스게임 디자인, 멀티 액션 캐릭터 생성에 적합합니다.

주의

• 프로젝트 상태현재 데이터 세트와 데모 리소스만 사용할 수 있으며, 핵심 기능은 코드 릴리스를 기다려야 합니다.
• 하드웨어 권장 사항향후 모델을 실행하려면 생성 속도를 높이기 위해 GPU(예: NVIDIA 그래픽 카드)가 필요할 수 있습니다.
• 문서 참조::README.md 및 공식 웹사이트(https://omnisvg.github.io)를 통해 최신 정보를 제공합니다.
• 커뮤니티 참여GitHub 이슈를 통해 질문하거나 피드백을 제공하여 개발자 지원을 받으세요.

애플리케이션 시나리오

1. 아이콘 데이터 세트 분석
   디자이너는 미니멀리스트 아이콘의 경로 구조를 연구하여 UI 디자인 영감을 얻기 위해 MMSVG-Icon 하위 집합을 사용합니다.
2. 일러스트레이션 리소스 개발
   아티스트는 광고 또는 출판에 최적화된 복잡한 일러스트레이션을 추출하기 위해 MMSVG-Illustration 하위 집합을 탐색합니다.
3. 모델링 연구
   연구원들은 새로운 SVG 생성 모델을 개발하고 멀티모달 기법을 탐색하기 위해 MMSVG 데이터 세트를 사용했습니다.
4. 교육 리소스
   교사는 학생들이 디자인에서 AI를 사용하는 방법을 이해할 수 있도록 GIF를 시연하여 벡터 그래픽 생성의 원리를 설명합니다.

QA

1. 현재 OmniSVG가 작동하나요?
   현재 데이터 세트와 데모 리소스만 제공되며, 핵심 코드와 모델은 아직 공개되지 않았으므로 공식 업데이트를 기다려야 합니다.
2. MMSVG 데이터 세트는 어떻게 사용되나요?
   교육이나 디자인에 적합한 아이콘 또는 일러스트레이션의 하위 집합을 다운로드하여 압축을 풀고 Python 스크립트 또는 디자인 소프트웨어로 확인합니다.
3. 프로그래밍 경험이 필요하신가요?
   데이터 집합을 탐색하는 데 프로그래밍이 필요하지 않으며, 향후 모델을 실행하려면 기본적인 Python 지식이 필요할 수 있으며 문서에서 지침을 제공합니다.
4. 데이터 세트는 무료인가요?
   예, MMSVG-Icon과 MMSVG-Illustration은 허깅페이스에서 무료로 이용할 수 있습니다.
5. 애니메이션 캐릭터는 어떻게 생성하나요?
   현재 역할 적합성 생성 코드가 출시되기를 기다리는 중이며, 데모 GIF는 예상 결과를 보여줍니다.