토큰버스: 여러 이미지 스타일을 혼합할 수 있는 크리에이티브 도구인 구글 오픈소스 Whisk를 소개합니다.

1. 소개: 이미지 생성의 새로운 시대

오늘날의 디지털 시대에는 이미지 생성 기술이 눈부시게 발전했습니다. 디자이너, 아티스트 또는 개인화된 콘텐츠를 만들고자 하는 일반인 모두에게 이미지 생성 도구는 아이디어를 실현하는 데 도움이 될 수 있습니다. 하지만 기존의 이미지 생성 방법에는 복잡한 시각적 요소의 조합을 처리하는 데 어려움을 겪거나 지루한 단계를 거쳐야 하는 등 한계가 있는 경우가 많습니다.

토큰버스 이미지 생성의 출현으로 완전히 새로운 가능성이 열렸습니다. 하나 이상의 사진에서 다양한 시각적 요소를 추출할 수 있을 뿐만 아니라 이러한 요소를 자유롭게 조합하여 새롭고 창의적인 이미지를 생성할 수 있습니다. 더욱 흥미로운 점은토큰버스는 Whisk의 오픈 소스 프레임워크입니다.즉, Whisk의 강력한 기능과 유연성을 계승하는 동시에 사용자에게 사용자 지정 및 확장을 위한 더 많은 공간을 제공합니다.

원본 텍스트:https://arxiv.org/pdf/2501.12224

2. 토큰버스란 무엇인가요?

상상해 보세요.다음과 같은 이미지를 만들고 싶습니다.좋아하는 강아지가 들어 있습니다,가장 좋아하는 장난감 공입니다.그리고 특별한 배경화창한 공원처럼.기존 방법에는 다음이 필요할 수 있습니다.별도로 생성해야 합니다.요소.그런 다음 수동으로 조합합니다.하지만 지금은.해결책이 있습니다! 토큰버스(수학.) 속이 모든 것을 쉽게 할 수 있습니다.

토큰버스 는 이미지 생성에 대한 새로운 접근 방식입니다.단일 시트에서 목록을 만들거나여러 사진에서 추출하는 것은동일한 시각적 요소(객체와 같은 것들,자세,빛,자료 등).그런 다음 이러한 요소를 자유롭게 결합합니다.새로운 것을 생성합니다,창의적인 이미지.

핵심 기능:

3. 토큰버스는 어떻게 작동하나요?

3.1 이미지와 텍스트 이해하기

토큰버스 라는 메서드를 사용합니다. DiT(확산 변압기) 의 고급 모델입니다.이 모델은 다음과 같은 기능을 동시에 수행할 수 있습니다.이미지 및 문자 메시지 처리메시지.구체적으로다음 단계를 거쳐 사용자의 요구 사항을 파악합니다:

3.2 변조 공간: 이미지 생성을 위한 비밀 무기

변조 공간은 다음과 같은 특별한 공간입니다.모델은 여기에서 이미지를 미세 조정합니다.이 공간의 방향을 바꾸면모델은 이미지의 특정 기능을 변경할 수 있습니다.예를 들어 색상이 있습니다,모양,자세 등

• 글로벌 변조 공간($\mathcal{M}$)::전체 이미지의 모든 요소에 영향을 미칩니다.하지만 원치 않는 변경이 발생할 수 있습니다.
• 각 마커의 변조 공간(M+M+)::특정 시각적 요소에만 영향을 미칩니다.더욱 정밀한 제어가 가능합니다.

그림 2. 각 마커에 대한 전역 변조 공간( M )과 변조 공간( M + )의 방향.

3.3 개념적 격리: 요소 간 간섭 방지

각 시각적모든 요소를 정확하게 언급할 수 있습니다.찍기 및 결합하기.토큰버스 라는 메서드를 사용합니다. 개념적 격리 기술.이는 각 요소에별도의 "방".서로 간섭하지 않도록 하세요.

토큰버스의 장점 4.

4.1 거품기와 같은 파워

• 고품질 이미지 생성Whisk는 고품질 이미지 생성 기능으로 유명하며, 토큰버스는 이를 그대로 계승합니다.
• 서식 있는 텍스트 처리 기능Whisk는 복잡한 텍스트 프롬프트를 처리할 수 있으며, 따라서 토큰버스는 복잡한 설명 텍스트를 이해할 수 있습니다.
• 확장성오픈 소스 프로젝트인 토큰버스는 확장성이 뛰어나 사용자의 필요에 따라 커스터마이징하고 확장할 수 있습니다.

4.2 사용 편의성

• 전문 기술 필요 없음전문 디자이너나 프로그래머가 아니어도 쉽게 사용할 수 있습니다.
• 복잡한 조작이 필요 없습니다.토큰버스가 해야 할 일은 간단한 텍스트 설명과 몇 개의 참조 이미지만 제공하면 나머지는 토큰버스가 알아서 처리합니다.

4.3 강력한 개인화 기능

• 다중 요소 지원오브젝트, 포즈, 머티리얼, 조명 조건 등 어떤 것이든 토큰버스가 처리할 수 있습니다.
• 원활한 조립다양한 요소를 자유롭게 조합하여 독특한 이미지를 만들 수 있습니다.

4.4 유연한 크리에이티브 접근 방식

• 단일 이미지에서 여러 요소 추출예를 들어 사진에서 사람, 옷, 배경을 추출합니다.
• 여러 이미지의 요소 결합예를 들어, 서로 다른 사진의 요소를 결합하여 완전히 새로운 이미지를 만들 수 있습니다.

5. 실용적인 응용 프로그램

5.1 스토리텔링

토큰버스를 사용하여 스토리를 위한 일련의 이미지를 생성할 수 있으며, 각 이미지에는 동일한 캐릭터와 장면이 포함되지만 줄거리와 세부 사항이 다릅니다.

그림 19: 스토리텔링 결과. 왼쪽은 스토리에 등장하는 모든 캐릭터, 장면 및 포즈를 보여줍니다. 오른쪽은 언어 모델(LLM)에 의해 생성된 스토리입니다. 그런 다음 LLM은 스토리를 재처리하여 함께 제공되는 이미지를 만드는 데 사용된 프롬프트를 생성했습니다.

5.2 개인화된 콘텐츠 제작

개인화된 생일 카드, 맞춤형 제품 디스플레이, 독특한 디지털 아트워크를 만들 때 토큰버스를 사용하면 쉽게 만들 수 있습니다.

5.3 상업용 애플리케이션

• 광고 디자인더 매력적인 광고 이미지 만들기.
• 제품 마케팅온라인 및 오프라인 홍보를 위한 고품질 제품 이미지를 생성합니다.
• 게임 개발게임 내 캐릭터, 장면, 소품을 빠르게 생성합니다.

6. 주의 사항

6.1 개념의 충돌

두 이미지에 이름이 같은 요소(예: 서로 다른 두 개의 '인형')가 포함된 경우 모델이 혼동할 수 있습니다. 이를 방지하려면 각 요소를 다른 이름으로 식별하는 것이 좋습니다.

(a) 충돌하는 제목 (b) 적절한 제목 사용

6.2 요소 호환성

팔다리가 매우 짧은 인형에게 팔과 다리가 필요한 포즈를 취하게 하는 등 특정 요소의 조합은 호환되지 않을 수 있습니다. 이로 인해 원치 않는 출력이 생성될 수 있습니다.

7. 요약

토큰버스 는 Whisk의 오픈 소스 프레임워크에 기반한 강력한 이미지 생성 도구로, 그 강력한 성능과 유연성을 그대로 계승하고 있습니다. 토큰버스는 텍스트 단서와 참조 이미지를 이해함으로써 다양한 시각적 요소를 추출하고 결합하여 사용자의 요구를 충족하는 고유한 이미지를 생성할 수 있습니다.

7.1 주요 강점

• 오픈 소스 휘스크의 힘고품질 이미지 생성, 풍부한 텍스트 처리 기능, 확장성.
• 간단하고 쉬운 사용전문 기술이나 복잡한 조작이 필요하지 않습니다.
• 강력한 개인화 기능다중 요소 지원, 원활하게 결합.
• 유연한 크리에이티브 접근 방식단일 또는 여러 이미지에서 요소를 추출하고 결합합니다.

7.2 향후 전망

토큰버스 프레임워크가 계속 발전하고 커뮤니티가 계속해서 기여함에 따라, 토큰버스의 기능은 더욱 향상되고 애플리케이션 시나리오는 더욱 광범위해질 것입니다. 더 많은 사용자들이 토큰버스로 멋진 이미지를 만들 수 있기를 기대합니다.