DCT-Net: инструмент с открытым исходным кодом для преобразования фотографий и видео в стилизованное аниме

Общее введение

DCT-Net - это проект с открытым исходным кодом, разработанный Академией DAMO и Институтом компьютерных технологий имени Ван Сюаня Пекинского университета и направленный на стилизованное преобразование изображений для анимации. В проекте используются методы глубокого обучения для плавного преобразования естественных фотографий в различные художественные стили, такие как анимация, 3D, ручная роспись, эскизы и т. д., с помощью Domain-Calibrated Translation. DCT-Net предоставляет множество моделей предварительного обучения и поддерживает обучение индивидуальным данным о стиле, что подходит для персональных развлечений, творческого дизайна, а также для кино и игровой индустрии. кинематографа и игровой индустрии.

Список функций

• Предоставляет широкий спектр предварительно обученных моделей, охватывающих широкий спектр художественных стилей
• Поддержка обучения с использованием данных пользовательского стиля
• Пробная версия в режиме онлайн, не требует настройки локальной среды
• Эффективная производительность, поддержка сред CPU и GPU
• Преобразование стилей для изображений и видео

Использование помощи

Установка и настройка

1. Установка зависимостей: Сначала вам нужно установить modelscope Библиотека, которую можно установить с помощью следующей команды:

   pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
   

2. Загрузите предварительно обученную модель: При первом запуске кода модель автоматически загружает файл предварительного обучения.

Преобразование стилей изображений

1. Определите модель: Определите пять типов стилей лица для преобразования моделью DCT-Net:

   model_dict = {
       "anime": "damo/cv_unet_person-image-cartoon_compound-models",
       "3d": "damo/cv_unet_person-image-cartoon-3d_compound-models",
       "handdrawn": "damo/cv_unet_person-image-cartoon-handdrawn_compound-models",
       "sketch": "damo/cv_unet_person-image-cartoon-sketch_compound-models",
       "art": "damo/cv_unet_person-image-cartoon-artstyle_compound-models"
   }
   

2. Загрузка изображений и их преобразование::

   import os
   import cv2
   from IPython.display import Image, display, clear_output
   from modelscope.pipelines import pipeline
   from modelscope.utils.constant import Tasks
   from modelscope.outputs import OutputKeys
   
   style = "anime"  # 可选 "anime", "3d", "handdrawn", "sketch", "art"
   filename = "4.jpg"
   img_path = 'picture/' + filename
   
   img_anime = pipeline(Tasks.image_portrait_stylization, model=model_dict["anime"])
   result = img_anime(img_path)
   
   save_name = 'picture/images/' + os.path.splitext(filename)[0] + '_' + style + '.jpg'
   cv2.imwrite(save_name, result[OutputKeys.OUTPUT_IMG])
   clear_output()
   display(Image(save_name))
   

Преобразование стилей видео

1. Извлечение видеокадров::

   video = 'sample_video.mp4'
   video_file = 'movie/' + video
   image_dir = 'movie/images/'
   
   vc = cv2.VideoCapture(video_file)
   i = 0
   if vc.isOpened():
       rval, frame = vc.read()
       while rval:
           cv2.imwrite(image_dir + str(i) + '.jpg', frame)
           i += 1
           rval, frame = vc.read()
   vc.release()
   

2. Преобразование видеокадров: Стилизуйте каждый кадр, используя тот же метод, что и для преобразования изображений, а затем объедините преобразованные кадры в видео.

Скачать One-Click Installer

Lite (версия для процессора, сохранен только стиль манги)

https://drive.uc.cn/s/eab2a6fad2dd4 Пароль: XTQi

Полная версия:

скачать громоотводQuark DownloadBaidu Download (6666)