DCT-Net: una herramienta de código abierto para transformar fotos y vídeos en anime estilizado

Introducción general

DCT-Net es un proyecto de código abierto desarrollado por la Academia DAMO y el Instituto Wang Xuan de Tecnología Informática de la Universidad de Pekín, cuyo objetivo es lograr una conversión estilizada de imágenes para animación. El proyecto utiliza técnicas de aprendizaje profundo para convertir sin problemas fotos naturales en varios estilos artísticos, como animación, 3D, pintado a mano, bocetos, etc., utilizando la Traducción Calibrada por Dominio.DCT-Net proporciona una variedad de modelos de preentrenamiento y admite el entrenamiento de datos de estilo personalizados, lo que es adecuado para el entretenimiento personal, el diseño creativo, así como las el cine y los videojuegos.

Lista de funciones

• Ofrece una amplia gama de modelos preentrenados que abarcan una gran variedad de estilos artísticos
• Apoyo a la formación con datos de estilo personalizados
• Prueba en línea, sin necesidad de configurar el entorno local
• Rendimiento eficiente, compatible con entornos de CPU y GPU.
• Conversión de estilos para imágenes y vídeos

Utilizar la ayuda

Instalación y configuración

1. Instalación de dependenciasEn primer lugar, debe instalar el modelscope que puede instalarse con el siguiente comando:

   pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
   

2. Descargar modelo preentrenadoEn la primera ejecución del código, el modelo descarga automáticamente el archivo de preentrenamiento.

Conversión de estilos de imagen

1. Definir el modeloDefinir cinco tipos de estilos de cara para ser convertidos por el modelo DCT-Net:

   model_dict = {
       "anime": "damo/cv_unet_person-image-cartoon_compound-models",
       "3d": "damo/cv_unet_person-image-cartoon-3d_compound-models",
       "handdrawn": "damo/cv_unet_person-image-cartoon-handdrawn_compound-models",
       "sketch": "damo/cv_unet_person-image-cartoon-sketch_compound-models",
       "art": "damo/cv_unet_person-image-cartoon-artstyle_compound-models"
   }
   

2. Cargar imágenes y convertirlas::

   import os
   import cv2
   from IPython.display import Image, display, clear_output
   from modelscope.pipelines import pipeline
   from modelscope.utils.constant import Tasks
   from modelscope.outputs import OutputKeys
   
   style = "anime"  # 可选 "anime", "3d", "handdrawn", "sketch", "art"
   filename = "4.jpg"
   img_path = 'picture/' + filename
   
   img_anime = pipeline(Tasks.image_portrait_stylization, model=model_dict["anime"])
   result = img_anime(img_path)
   
   save_name = 'picture/images/' + os.path.splitext(filename)[0] + '_' + style + '.jpg'
   cv2.imwrite(save_name, result[OutputKeys.OUTPUT_IMG])
   clear_output()
   display(Image(save_name))
   

Conversión de estilo de vídeo

1. Extraer fotogramas de vídeo::

   video = 'sample_video.mp4'
   video_file = 'movie/' + video
   image_dir = 'movie/images/'
   
   vc = cv2.VideoCapture(video_file)
   i = 0
   if vc.isOpened():
       rval, frame = vc.read()
       while rval:
           cv2.imwrite(image_dir + str(i) + '.jpg', frame)
           i += 1
           rval, frame = vc.read()
   vc.release()
   

2. Conversión de fotogramas de vídeoEstiliza cada fotograma utilizando el mismo método que para la conversión de imágenes y, a continuación, fusiona los fotogramas convertidos en vídeo.

Descarga del instalador en un clic

Lite (versión para CPU, sólo conserva el estilo manga)

https://drive.uc.cn/s/eab2a6fad2dd4 Contraseña: XTQi

Versión completa:

descarga de thunderboltQuark DescargarDescarga Baidu (6666)