TokenVerse: O Google abre o código-fonte do Whisk, uma ferramenta criativa para misturar estilos de várias imagens

1. introdução: uma nova era de geração de imagens

Na era digital atual, a tecnologia de geração de imagens fez avanços impressionantes. Se você é um designer, um artista ou apenas uma pessoa comum que deseja criar conteúdo personalizado, as ferramentas de geração de imagens podem ajudar a dar vida às suas ideias. Entretanto, os métodos tradicionais de geração de imagens geralmente têm limitações, como a dificuldade de lidar com combinações complexas de elementos visuais ou a necessidade de etapas tediosas.

TokenVerse O surgimento da geração de imagens abriu um leque totalmente novo de possibilidades. Ele não apenas pode extrair diferentes elementos visuais de uma ou mais fotos, mas também pode combinar esses elementos livremente para gerar uma imagem nova e criativa. E o que é ainda mais interessante é queTokenVerse é a estrutura de código aberto do Whisk.Isso significa que ele herda o poder e a flexibilidade do Whisk, ao mesmo tempo em que oferece aos usuários mais espaço para personalização e expansão.

Texto original:https://arxiv.org/pdf/2501.12224

2) O que é o TokenVerse?

Imagine isso.Você deseja criar uma imagem queTem seu cachorrinho favorito nele,Sua bola de brinquedo favorita.e um plano de fundo especial queComo um parque ensolarado.Os métodos tradicionais podem exigirVocê é solicitado a gerar esses dados separadamenteElementos.Em seguida, junte-os manualmente.Mas agora.Eu tenho uma solução! TokenVerse(matemática) gêneroVocê pode fazer tudo isso facilmente.

TokenVerse é uma nova abordagem para a geração de imagens queEle permite que você crie uma lista a partir de uma única planilha ouA extração de várias fotos não funcionaOs mesmos elementos visuais (mais deComo objetos, por exemplo,Postura,Luz,materiais, etc.).Esses elementos são então combinados livrementeGerar um novo,Imagens criativas.

Funções essenciais:

3) Como o TokenVerse funciona?

3.1 Compreensão de imagens e textos

TokenVerse usa um método chamado DiT (Transformador de difusão) de modelos avançados.Esse modelo é capaz de, simultaneamenteProcessamento de imagens e mensagens de textoMensagem.Especificamente.Ele segue as seguintes etapas para entender suas necessidades:

3.2 Espaço de modulação: uma arma secreta para a geração de imagens

O espaço de modulação é um espaço especial queO modelo faz o ajuste fino da imagem aqui.Ao reorientar esse espaço noOs modelos podem alterar determinados recursos de uma imagem quePor exemplo, as cores,Forma,Postura, etc.

• Espaço de modulação global ($\mathcal{M}$)::afetando todos os elementos da imagem inteira.Mas isso pode levar a mudanças indesejadas.
• O espaço de modulação para cada marcador (M+M+)::afetando apenas elementos visuais específicos.Obtenha um controle mais preciso.

Fig. 2: Orientação do espaço de modulação global ( M ) e do espaço de modulação ( M + ) para cada marcador.

3.3 Isolamento conceitual: evitar a interferência entre elementos

Para garantir que cada visualTodos os elementos podem ser mencionados com precisãoTomar e combinar.TokenVerse usa um método chamado isolamento conceitual A tecnologia.Isso é como dar a cada elementoAtribuir um "sala".Evite que elas interfiram umas nas outras.

4. vantagens do TokenVerse

4.1 Poder do tipo whisk

• Geração de imagens de alta qualidadeWhisk: o Whisk é conhecido por seus recursos de geração de imagens de alta qualidade, herdados pelo TokenVerse.
• Recursos de processamento de rich textO Whisk é capaz de lidar com prompts de texto complexos, e o TokenVerse é, portanto, capaz de entender textos descritivos complexos.
• escalabilidadeComo um projeto de código aberto, a extensibilidade do TokenVerse permite que ele seja personalizado e ampliado de acordo com as necessidades do usuário.

4.2 Facilidade de uso

• Não são necessárias habilidades especializadasNão é necessário ser um designer ou programador profissional para usá-lo facilmente.
• Não há necessidade de operações complicadasA única coisa que o TokenVerse precisa fazer é fornecer uma descrição de texto simples e algumas imagens de referência, e o TokenVerse fará o resto.

4.3 Fortes recursos de personalização

• Suporte a vários elementosTokenVerse: Seja em objetos, poses, materiais ou condições de iluminação, o TokenVerse pode lidar com isso.
• Montagem sem emendasElementos diferentes podem ser combinados livremente para criar imagens exclusivas.

4.4 Abordagem criativa e flexível

• Extrair vários elementos de uma única imagemPor exemplo, extrair pessoas, roupas e fundos de uma fotografia.
• Combinar elementos de várias imagensPor exemplo, a combinação de elementos de diferentes fotografias em uma imagem completamente nova.

5. aplicações práticas

5.1 Narração de histórias

Você pode usar o TokenVerse para gerar uma série de imagens para sua história, cada uma contendo os mesmos personagens e cenas, mas com enredos e detalhes diferentes.

Figura 19: Resultados da narrativa. O lado esquerdo mostra todos os personagens, cenas e poses que aparecem na história. À direita está a história gerada pelo modelo de linguagem (LLM). Em seguida, o LLM reprocessou a história para gerar prompts que foram usados para criar as imagens que a acompanham.

5.2 Criação de conteúdo personalizado

Seja para criar cartões de aniversário personalizados, displays de produtos personalizados ou arte digital exclusiva, o TokenVerse facilita tudo.

5.3 Aplicativos comerciais

• design de publicidadeCrie imagens publicitárias mais atraentes.
• marketing de produtosGeração de imagens de alta qualidade de produtos para promoção on-line e off-line.
• desenvolvimento de jogosGeração rápida de personagens, cenas e adereços para o jogo.

6. cuidados

6.1 Conflito de conceitos

Em alguns casos, se duas imagens contiverem elementos com o mesmo nome (por exemplo, duas "bonecas" diferentes), os modelos podem se confundir. Para evitar isso, é recomendável identificar cada elemento com um nome diferente.

(a) Títulos conflitantes (b) Uso de títulos apropriados

6.2 Compatibilidade de elementos

Certas combinações de elementos podem ser incompatíveis, como o fato de uma boneca com membros extremamente curtos fazer uma pose que exija braços e pernas. Isso pode resultar na geração de resultados indesejados.

7. resumo

TokenVerse é uma poderosa ferramenta de geração de imagens baseada na estrutura de código aberto do Whisk, herdando seu poder e flexibilidade. Ao compreender suas dicas textuais e imagens de referência, o TokenVerse é capaz de extrair e combinar diferentes elementos visuais para criar uma imagem exclusiva que atenda às suas necessidades.

7.1 Principais pontos fortes

• O poder do Whisk de código aberto: geração de imagens de alta qualidade, recursos avançados de processamento de texto, escalabilidade.
• simples e fácil de usarNão são necessárias habilidades especializadas ou operações complexas.
• Recursos avançados de personalizaçãoSuporte a vários elementos, perfeitamente combinado.
• Abordagem criativa e flexívelExtrair e combinar elementos de uma ou várias imagens.

7.2 Perspectivas futuras

Como a estrutura do TokenVerse continua a evoluir e a comunidade continua a contribuir, a funcionalidade do TokenVerse se tornará ainda melhor e os cenários de aplicativos ainda mais extensos. Esperamos ver mais usuários criando imagens incríveis com o TokenVerse.