Kolors: modelo texto-imagen para generar imágenes de alta calidad, con soporte para generar carteles chinos

Introducción general

Kolors es un modelo de generación de texto-imagen a gran escala desarrollado por el equipo Racer, basado en técnicas de difusión de potencial. El modelo se ha entrenado con miles de millones de pares de datos de texto-imagen y es capaz de generar imágenes complejas de alta calidad y precisión semántica con soporte para entradas en inglés y chino.Kolors demuestra ventajas significativas en calidad visual, precisión semántica compleja y renderización de texto, y es adecuado para diversos escenarios de aplicación, como la prueba virtual, la restauración de imágenes y la generación de imágenes personalizadas.

Lista de funciones

• Generación de texto a imagen: Introduzca descripciones de texto para generar imágenes de alta calidad.
• Soporte multilingüe: Admite entradas en chino e inglés para generar imágenes en el idioma correspondiente.
• prueba virtual: Ofrece una función de prueba virtual que permite a los usuarios probarse diferentes estilos de ropa.
• Restauración de imágenes: Repara y perfecciona los detalles de la imagen para mejorar su calidad.
• Generación de imágenes personalizadasGeneración de imágenes personalizadas en función de las necesidades del usuario.
• Formación e inferencia de modelos: Proporcionar código de entrenamiento e inferencia de modelos para facilitar el desarrollo secundario.

Utilizar la ayuda

Proceso de instalación

1. Preparación medioambiental::
   • Instale Python 3.8 o posterior.
   • Instale PyTorch 1.13.1 o posterior.
   • Instale Transformers 4.26.1 o posterior.
   • Se recomienda CUDA 11.7 o superior.
2. Clonar el repositorio e instalar las dependencias::

   apt-get install git-lfs git
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

3. Descargar modelos de pesos::

   huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

Proceso de utilización

1. Generación de texto a imagen::
   • Ejecute el siguiente comando para generar una imagen:

    python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着‘可图’"
   

   • La imagen generada se guardará en el archivoscripts/outputs/sample_test.jpg.
2. Uso de difusores::
   • consultaInstrucciones de uso de los difusores.
3. prueba virtual::
   • Visita la página Kolors Virtual Try-On, sube una foto y selecciona un estilo de ropa para ver lo que puedes probarte.
4. Restauración de imágenes::
   • Utilizando la función de reparación de imágenes proporcionada por Kolors, cargue la imagen que desea reparar y el sistema reparará automáticamente los detalles de la imagen.
5. Generación de imágenes personalizadas::
   • Introduzca una descripción de sus requisitos personalizados y Kolors generará una imagen conforme basada en la descripción.

advertencia

• El modelo Kolors es completamente de código abierto y está destinado exclusivamente a la investigación académica. 商业用途需填写问卷并发送至kwai-kolors@kuaishou.com进行注册.
• Por favor, respete estrictamente la licencia de código abierto y evite utilizar el modelo para cualquier fin que pueda perjudicar al Estado y a la sociedad.