Kolors：生成高质量图像的文本到图像模型，支持生成中文海报

综合介绍

Kolors是由快手团队开发的大规模文本到图像生成模型，基于潜在扩散技术。该模型训练于数十亿对文本-图像数据对，能够生成高质量、复杂语义准确的图像，并支持中英文输入。Kolors在视觉质量、复杂语义准确性和文本渲染方面表现出显著优势，适用于多种应用场景，如虚拟试穿、图像修复和个性化图像生成。

功能列表

• 文本到图像生成：输入文本描述，生成高质量图像。
• 多语言支持：支持中文和英文输入，生成对应语言的图像。
• 虚拟试穿：提供虚拟试穿功能，用户可以试穿不同的服装款式。
• 图像修复：修复和完善图像细节，提高图像质量。
• 个性化图像生成：根据用户需求生成个性化图像。
• 模型训练与推理：提供模型训练和推理代码，方便用户进行二次开发。

使用帮助

安装流程

1. 环境准备：
   • 安装Python 3.8或更高版本。
   • 安装PyTorch 1.13.1或更高版本。
   • 安装Transformers 4.26.1或更高版本。
   • 推荐使用CUDA 11.7或更高版本。
2. 克隆仓库并安装依赖：

   apt-get install git-lfs git
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

3. 下载模型权重：

   huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

使用流程

1. 文本到图像生成：
   • 运行以下命令生成图像：

    python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着‘可图’"
   

   • 生成的图像将保存在scripts/outputs/sample_test.jpg。
2. 使用Diffusers：
   • 参考Diffusers使用说明。
3. 虚拟试穿：
   • 访问Kolors虚拟试穿页面，上传照片并选择服装款式，即可查看试穿效果。
4. 图像修复：
   • 使用Kolors提供的图像修复功能，上传需要修复的图像，系统将自动修复图像细节。
5. 个性化图像生成：
   • 输入个性化需求描述，Kolors将根据描述生成符合要求的图像。

注意事项

• Kolors模型完全开源，仅供学术研究使用。商业用途需填写问卷并发送至kwai-kolors@kuaishou.com进行注册。
• 请严格遵守开源许可证，避免将模型用于任何可能对国家和社会造成危害的用途。