Kolors : modèle texte-image pour la génération d'images de haute qualité, avec prise en charge de la génération d'affiches chinoises

Introduction générale

Kolors est un modèle de génération de texte-image à grande échelle développé par l'équipe Racer, basé sur des techniques de diffusion potentielle. Kolors présente des avantages significatifs en termes de qualité visuelle, de précision sémantique complexe et de rendu de texte, et convient à divers scénarios d'application, tels que l'essayage virtuel, la restauration d'images et la génération d'images personnalisées.

Liste des fonctions

• Génération d'images à partir de textesLes images : Saisissez des descriptions textuelles pour générer des images de haute qualité.
• Prise en charge multilingueLe système de gestion de l'image est un système de gestion de l'image qui prend en charge les données chinoises et anglaises afin de générer des images dans la langue correspondante.
• essai virtuelLe système d'essayage virtuel : il permet aux utilisateurs d'essayer différents styles de vêtements.
• Restauration de l'imageRéparation et affinage des détails de l'image pour améliorer la qualité de l'image.
• Génération d'images personnaliséesLes images personnalisées : Générer des images personnalisées en fonction des besoins de l'utilisateur.
• Apprentissage et inférence de modèlesLes modèles de formation et les codes d'inférence sont fournis pour faciliter le développement secondaire.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnement: :
   • Installez Python 3.8 ou une version ultérieure.
   • Installez PyTorch 1.13.1 ou une version ultérieure.
   • Installez Transformers 4.26.1 ou une version ultérieure.
   • CUDA 11.7 ou supérieur est recommandé.
2. Cloner le dépôt et installer les dépendances: :

   apt-get install git-lfs git
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

3. Télécharger le modèle de poids: :

   huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

Processus d'utilisation

1. Génération d'images à partir de textes: :
   • Exécutez la commande suivante pour générer une image :

    python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着‘可图’"
   

   • L'image générée sera enregistrée dans le fichierscripts/outputs/sample_test.jpg.
2. Utilisation des diffuseurs: :
   • consultationMode d'emploi des diffuseurs.
3. essai virtuel: :
   • Visitez la page d'essayage virtuel de Kolors, téléchargez une photo et sélectionnez un style de vêtement pour voir ce que vous pouvez essayer.
4. Restauration de l'image: :
   • En utilisant la fonction de réparation d'image fournie par Kolors, téléchargez l'image à réparer et le système réparera automatiquement les détails de l'image.
5. Génération d'images personnalisées: :
   • Entrez une description de vos exigences personnalisées et Kolors générera une image conforme sur la base de la description.

mise en garde

• Le modèle Kolors est entièrement libre et destiné à la recherche universitaire uniquement. 商业用途需填写问卷并发送至kwai-kolors@kuaishou.com进行注册.
• Veuillez respecter strictement la licence open source et éviter d'utiliser le modèle à des fins susceptibles de nuire à l'État et à la société.