Kolors: modelo de texto para imagem para gerar imagens de alta qualidade, com suporte para gerar pôsteres em chinês

Introdução geral

O Kolors é um modelo de geração de texto para imagem em grande escala desenvolvido pela equipe do Racer, com base em técnicas de difusão em potencial. O modelo é treinado em bilhões de pares de dados de texto-imagem e é capaz de gerar imagens de alta qualidade, complexas e semanticamente precisas, com suporte para entradas em inglês e chinês. O Kolors demonstra vantagens significativas em termos de qualidade visual, precisão semântica complexa e renderização de texto, e é adequado para vários cenários de aplicação, como teste virtual, restauração de imagens e geração de imagens personalizadas.

Lista de funções

• Geração de texto para imagemDescrição de texto de entrada para gerar imagens de alta qualidade.
• Suporte a vários idiomasSuporte a entradas em chinês e inglês para gerar imagens no idioma correspondente.
• teste virtualOferece uma função de experimentação virtual que permite aos usuários experimentar diferentes estilos de roupas.
• Restauração de imagensReparo e refinamento dos detalhes da imagem para melhorar a qualidade da imagem.
• Geração de imagens personalizadasGeração de imagens personalizadas de acordo com os requisitos do usuário.
• Treinamento e inferência de modelosTreinamento de modelos e código de inferência para facilitar o desenvolvimento secundário.

Usando a Ajuda

Processo de instalação

1. Preparação ambiental::
   • Instale o Python 3.8 ou posterior.
   • Instale o PyTorch 1.13.1 ou posterior.
   • Instale o Transformers 4.26.1 ou posterior.
   • Recomenda-se o CUDA 11.7 ou superior.
2. Clone o repositório e instale as dependências::

   apt-get install git-lfs git
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

3. Download dos pesos do modelo::

   huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

Processo de uso

1. Geração de texto para imagem::
   • Execute o seguinte comando para gerar uma imagem:

    python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着‘可图’"
   

   • A imagem gerada será salva no arquivoscripts/outputs/sample_test.jpg.
2. Uso de difusores::
   • consultaInstruções de uso dos difusores.
3. teste virtual::
   • Visite a página Kolors Virtual Try-On, carregue uma foto e selecione um estilo de roupa para ver o que você pode experimentar.
4. Restauração de imagens::
   • Usando a função de reparo de imagem fornecida pela Kolors, carregue a imagem a ser reparada e o sistema reparará automaticamente os detalhes da imagem.
5. Geração de imagens personalizadas::
   • Insira uma descrição de seus requisitos personalizados e a Kolors gerará uma imagem compatível com base na descrição.

advertência

• O modelo Kolors é totalmente de código aberto e destina-se apenas à pesquisa acadêmica. 商业用途需填写问卷并发送至kwai-kolors@kuaishou.com进行注册.
• Observe rigorosamente a licença de código aberto e evite usar o modelo para qualquer finalidade que possa causar danos ao Estado e à sociedade.