Kolors: модель преобразования текста в изображение для создания высококачественных изображений, с поддержкой создания китайских плакатов

Общее введение

Kolors - это крупномасштабная модель генерации текста в изображение, разработанная командой Racer на основе методов диффузии потенциала. Модель обучена на миллиардах пар данных "текст-изображение" и способна генерировать высококачественные, сложные семантически точные изображения с поддержкой английского и китайского языков. Kolors демонстрирует значительные преимущества в визуальном качестве, сложной семантической точности и рендеринге текста и подходит для различных сценариев применения, таких как виртуальная примерка, восстановление изображений и создание персонализированных изображений.

Список функций

• Генерация текста в изображение: Ввод текстовых описаний для создания высококачественных изображений.
• Поддержка нескольких языков: Поддерживает ввод данных на китайском и английском языках для создания изображений на соответствующем языке.
• виртуальная примерка: Предоставляет функцию виртуальной примерки, которая позволяет пользователям примерить различные стили одежды.
• Реставрация изображений: Исправление и уточнение деталей изображения для повышения его качества.
• Создание персонализированных изображений: Создание персонализированных изображений в соответствии с требованиями пользователя.
• Обучение и вывод модели: Предоставление обучения модели и кода вывода для облегчения вторичной разработки.

Использование помощи

Процесс установки

1. Подготовка к защите окружающей среды::
   • Установите Python 3.8 или более позднюю версию.
   • Установите PyTorch 1.13.1 или более позднюю версию.
   • Установите Transformers 4.26.1 или более позднюю версию.
   • Рекомендуется использовать CUDA 11.7 или более позднюю версию.
2. Клонируйте репозиторий и установите зависимости::

   apt-get install git-lfs git
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

3. Скачать модельные веса::

   huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

Процесс использования

1. Генерация текста в изображение::
   • Выполните следующую команду, чтобы сгенерировать изображение:

    python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着‘可图’"
   

   • Созданное изображение будет сохранено в файлеscripts/outputs/sample_test.jpg.
2. Использование диффузоров::
   • консультацияИнструкция по применению диффузоров.
3. виртуальная примерка::
   • Зайдите на страницу виртуальной примерки Kolors, загрузите фотографию и выберите стиль одежды, чтобы посмотреть, что вы можете примерить.
4. Реставрация изображений::
   • Используя функцию восстановления изображений, предоставляемую компанией Kolors, загрузите изображение, которое необходимо восстановить, и система автоматически восстановит детали изображения.
5. Создание персонализированных изображений::
   • Введите описание ваших индивидуальных требований, и Kolors сгенерирует соответствующее изображение на основе описания.

предостережение

• Модель Kolors имеет полностью открытый исходный код и предназначена только для академических исследований. 商业用途需填写问卷并发送至kwai-kolors@kuaishou.com进行注册.
• Пожалуйста, строго соблюдайте лицензию на открытый исходный код и не используйте модель в целях, которые могут нанести вред государству и обществу.