TokenVerse: Google abre Whisk, una herramienta creativa para mezclar estilos de varias imágenes

1. Introducción: una nueva era de generación de imágenes

En la era digital actual, la tecnología de generación de imágenes ha dado pasos de gigante. Tanto si eres diseñador, artista o simplemente una persona normal que quiere crear contenidos personalizados, las herramientas de generación de imágenes pueden ayudarte a dar vida a tus ideas. Sin embargo, los métodos tradicionales de generación de imágenes suelen tener limitaciones, como la dificultad para manejar combinaciones complejas de elementos visuales o la necesidad de seguir pasos tediosos.

TokenVerse La aparición de la generación de imágenes ha abierto todo un nuevo abanico de posibilidades. No sólo puede extraer distintos elementos visuales de una o varias fotos, sino que también puede combinarlos libremente para generar una imagen nueva y creativa. Y lo que es aún más emocionanteTokenVerse es el marco de código abierto de Whisk.Esto significa que hereda la potencia y flexibilidad de Whisk, al tiempo que ofrece a los usuarios más margen de personalización y ampliación.

Texto original:https://arxiv.org/pdf/2501.12224

2. ¿Qué es TokenVerse?

Imagínatelo.Desea crear una imagen queTiene a tu cachorro favorito,Su pelota de juguete favorita.y un fondo especial queComo un parque soleado.Los métodos tradicionales pueden requerirSe le pide que los genere por separadoElementos.Después, júntalos manualmente.Pero ahora.¡Tengo una solución! TokenVerse(matemáticas) géneroPuedes hacer todo esto fácilmente.

TokenVerse es un nuevo enfoque de la generación de imágenes quePermite crear una lista a partir de una sola hoja oLa extracción de varias fotos noLos mismos elementos visuales (más deComo los objetos,Postura,Luz,materiales, etc.).A continuación, estos elementos se combinan librementeGenere uno nuevo,Imágenes creativas.

Funciones básicas:

3. ¿Cómo funciona TokenVerse?

3.1 Comprender las imágenes y el texto

TokenVerse utiliza un método llamado DiT (Transformador de difusión) de modelos avanzados.Este modelo es capaz deTratamiento de imágenes y mensajes de textoMensaje.Específicamente.Sigue los siguientes pasos para entender tus necesidades:

3.2 Espacio de modulación: un arma secreta para la generación de imágenes

El espacio de modulación es un espacio especial queEl modelo afina aquí la imagen.Al reorientar este espacio en elLos modelos pueden cambiar ciertas características de una imagen quePor ejemplo, los colores,Forma,Postura, etc.

• Espacio de modulación global ($\mathcal{M}$)::que afecta a todos los elementos de la imagen completa.Pero puede provocar cambios no deseados.
• El espacio de modulación de cada marcador (M+M+)::que sólo afectan a elementos visuales concretos.Consiga un control más preciso.

Fig. 2. Orientación del espacio de modulación global ( M ) y del espacio de modulación ( M + ) para cada marcador.

3.3 Aislamiento conceptual: evitar interferencias entre elementos

Para garantizar que cada visualTodos los elementos pueden mencionarse con precisiónTomar y combinar.TokenVerse utiliza un método llamado aislamiento conceptual La tecnología.Esto es como dar a cada elementoAsignar un "habitación".Evitar que interfieran entre sí.

4. Ventajas de TokenVerse

4.1 El poder del whisky

• Generación de imágenes de alta calidad: Whisk es conocido por sus capacidades de generación de imágenes de alta calidad, que TokenVerse hereda.
• Funciones de tratamiento de texto enriquecidoEl sistema Whisk es capaz de gestionar peticiones de texto complejas y, por lo tanto, TokenVerse es capaz de comprender textos descriptivos complejos.
• escalabilidadTokenVerse: Como proyecto de código abierto, la extensibilidad de TokenVerse permite personalizarlo y ampliarlo según las necesidades del usuario.

4.2 Facilidad de uso

• No se requieren conocimientos especializadosNo es necesario ser un diseñador o programador profesional para utilizarlo fácilmente.
• Sin necesidad de operaciones complicadasBasta con una simple descripción de texto y unas cuantas imágenes de referencia, y TokenVerse se encarga del resto.

4.3 Gran capacidad de personalización

• Soporte multielementoYa se trate de objetos, poses, materiales o condiciones de iluminación, TokenVerse puede encargarse de todo.
• montaje sin juntas: Los distintos elementos pueden combinarse libremente para crear imágenes únicas.

4.4 Enfoque creativo flexible

• Extraer varios elementos de una sola imagenPor ejemplo, extraer personas, ropa y fondos de una fotografía.
• Combinar elementos de varias imágenesPor ejemplo, combinar elementos de distintas fotografías para crear una imagen completamente nueva.

5. Aplicaciones prácticas

5.1 Contar historias

Puedes utilizar TokenVerse para generar una serie de imágenes para tu historia, cada una con los mismos personajes y escenas, pero con tramas y detalles diferentes.

Figura 19. Resultados de la narración. A la izquierda se muestran todos los personajes, escenas y poses que aparecen en la historia. A la derecha se muestra la historia generada por el modelo de lenguaje (LLM). A continuación, el LLM reprocesó la historia para generar las instrucciones que se utilizaron para crear las imágenes que la acompañan.

5.2 Creación de contenidos personalizados

Ya se trate de crear tarjetas de cumpleaños personalizadas, expositores de productos a medida o ilustraciones digitales únicas, TokenVerse lo pone fácil.

5.3 Aplicaciones comerciales

• diseño publicitario: Crea imágenes publicitarias más atractivas.
• comercialización de productosGeneración de imágenes de alta calidad de productos para promoción en línea y fuera de línea.
• desarrollo de juegosGenera rápidamente personajes, escenarios y accesorios para el juego.

6. Precauciones

6.1 Conflicto de conceptos

En algunos casos, si dos imágenes contienen elementos con el mismo nombre (por ejemplo, dos "muñecas" diferentes), los modelos pueden confundirse. Para evitarlo, se recomienda identificar cada elemento con un nombre distinto.

(a) Rúbricas conflictivas (b) Utilización de rúbricas adecuadas

6.2 Compatibilidad de los elementos

Ciertas combinaciones de elementos pueden ser incompatibles, como hacer que una muñeca con extremidades extremadamente cortas haga una pose que requiera brazos y piernas. Esto puede generar resultados no deseados.

7. Resumen

TokenVerse es una potente herramienta de generación de imágenes basada en el framework de código abierto de Whisk, heredando su potencia y flexibilidad. Al comprender tus pistas textuales e imágenes de referencia, TokenVerse es capaz de extraer y combinar diferentes elementos visuales para crear una imagen única que satisfaga tus necesidades.

7.1 Puntos fuertes

• El poder del batidor de código abiertoGeneración de imágenes de alta calidad, gran capacidad de tratamiento de textos y escalabilidad.
• sencillo y fácil de usarNo requiere conocimientos especializados ni operaciones complejas.
• Potentes funciones de personalización: Soporte multielemento, combinado a la perfección.
• Enfoque creativo flexible: Extrae y combina elementos de una o varias imágenes.

7.2 Perspectivas de futuro

A medida que el marco de TokenVerse siga evolucionando y la comunidad siga contribuyendo, la funcionalidad de TokenVerse será aún mejor y los escenarios de aplicación se generalizarán aún más. Esperamos ver a más usuarios crear imágenes asombrosas con TokenVerse.