Z-Image - Modelo de generación de imágenes de código abierto de Ali Tongyi Labs

Qué es Z-Image

Z-Image es un modelo de generación de imágenes de código abierto de Ali Tongyi Lab con capacidades de generación de imágenes eficientes, rápidas y potentes. Adopta la arquitectura de transformador de difusión de flujo único (S3-DiT), que integra texto, semántica visual y tokens VAE de imagen en un flujo de entrada unificado para maximizar la eficiencia de los parámetros. Sus principales innovaciones incluyen la destilación de coincidencia de distribución desacoplada (DMD) y el aprendizaje por refuerzo y la fusión de destilación de coincidencia de distribución (DMDR), que mejoran drásticamente el rendimiento y la calidad de imagen de la generación de menos pasos.La versión Z-Image-Turbo puede generar imágenes de alta calidad con sólo 8 evaluaciones de funciones, admite una latencia de razonamiento inferior a un segundo, se adapta a dispositivos de baja memoria y destaca en la generación de imágenes fotorrealistas y la renderización de texto bilingüe. La versión Z-Image-Edit se centra en tareas de edición de imágenes con una edición precisa basada en pistas de lenguaje natural, y la Z-Image-Base es un modelo base sin destilar que proporciona a la comunidad un mayor margen para el ajuste fino y el desarrollo personalizado.

Características de Z-Image

• Generación rápida y eficazLa versión Z-Image-Turbo genera imágenes de alta calidad en tan sólo 8 evaluaciones de funciones, alcanza una latencia de inferencia inferior al segundo y es compatible con dispositivos de memoria gráfica de bajo consumo para la creación rápida de prototipos y la exploración creativa.
• Potente representación de texto: Admite el renderizado de texto bilingüe, capaz de generar con precisión imágenes que contengan tanto chino como inglés para satisfacer las necesidades de varios idiomas.
• Generación de imágenes fotorrealistasExperiencia en la generación de imágenes con iluminación natural, texturas realistas y escenas creíbles que pueden utilizarse para el diseño creativo y la producción de efectos visuales.
• Edición creativa de imágenesLa versión Z-Image-Edit permite la edición precisa de imágenes basada en instrucciones de lenguaje natural y admite la generación creativa de imagen a imagen para una amplia gama de necesidades creativas.
• Aplicaciones flexibles y de código abierto: El código, los pesos y las demos en línea son de código abierto y siguen la licencia Apache 2.0, que permite una amplia gama de proyectos comerciales, proporcionando a los desarrolladores un rico espacio para la personalización y el desarrollo.

Puntos fuertes de Z-Image

• Arquitectura de transformador de difusión de flujo único (S3-DiT)Z-Image utiliza esta arquitectura para unir texto, tokens semánticos visuales y tokens VAE de imagen a nivel de secuencia como un flujo de entrada unificado para maximizar la eficiencia de los parámetros.
• Desacoplado-DMD (destilación por distribución acoplada desacoplada): es el algoritmo central de destilación sin pasos que potencia el modelo Z-Image de 8 pasos. Al desacoplar los dos mecanismos CFG Augmentation (CA) y Distribution Matching (DM), se estudian y optimizan de forma independiente, lo que se traduce en una mejora significativa del rendimiento de la generación con menos pasos.
• DMDR (Fusión de aprendizaje por refuerzo y destilación de coincidencias de distribución)El objetivo es mejorar la alineación semántica, la calidad estética y la coherencia estructural mediante la integración sinérgica del aprendizaje por refuerzo (RL) con la destilación de coincidencias de distribución (DMD) en la fase posterior al entrenamiento del modelo de menos pasos, al tiempo que se generan imágenes con detalles de alta frecuencia más ricos.
• Razonamiento eficiente en menos pasosLa tecnología Decoupled-Distributed Matching Distillation (Decoupled-DMD) se utiliza para generar imágenes de alta calidad en sólo 8 pasos, con una velocidad de inferencia rápida, adecuada para dispositivos con poca memoria gráfica y baja latencia de inferencia.
• Potente representación de texto: Admite la representación de texto bilingüe en inglés y chino, genera con precisión imágenes que contienen texto complejo y es adecuado para entornos multilingües.
• Generación de imágenes de alta calidadGeneración de imágenes fotorrealistas con iluminación natural, texturas realistas y escenas creíbles para satisfacer las necesidades de los efectos visuales más exigentes.
• Edición precisa de imágenes: La versión Z-Image-Edit permite una edición precisa de imágenes basada en comandos de lenguaje natural y admite la generación creativa de imagen a imagen con potentes funciones de edición.

¿Cuál es el sitio web oficial de Z-Image?

• Página web del proyecto:: https://tongyi-mai.github.io/Z-Image-blog/
• Repositorio GitHub:: https://github.com/Tongyi-MAI/Z-Image
• Biblioteca de modelos HuggingFace:: https://huggingface.co/Tongyi-MAI/Z-Image-Turbo

Para quién es Z-Image

• Diseñador creativo: Genere rápidamente imágenes de alta calidad para necesidades de diseño creativo, ayudando a los diseñadores a explorar y materializar rápidamente ideas creativas.
• creador de contenidos: Admite la renderización de texto y la edición de imágenes en chino e inglés, por lo que es adecuado para producir contenido visual que contenga texto, como imágenes de redes sociales, diseños de anuncios, etc.
• Desarrolladores e investigadores: El código fuente abierto y la arquitectura flexible ofrecen a los desarrolladores un amplio espacio de personalización y desarrollo, adecuado para el desarrollo secundario y la exploración de la investigación.
• usuario empresarial: Sigue la licencia Apache 2.0, puede aplicarse a proyectos comerciales, apto para empresas para diseño de productos, generación de material de marketing y otros escenarios.
• Aficionados individuales: La adaptación del dispositivo a una memoria de vídeo baja y las capacidades de generación rápida son fácilmente accesibles para los usuarios individuales, lo que lo hace adecuado para la exploración creativa por parte de usuarios individuales interesados en la generación de imágenes.