DCT-Net: 사진 및 비디오를 애니메이션 스타일로 변환하는 오픈 소스 도구

2.3K 00

일반 소개

DCT-Net은 애니메이션용 이미지의 양식화된 변환을 목표로 북경대학교 왕쉬안 컴퓨터 기술 연구소와 DAMO 아카데미에서 개발한 오픈 소스 프로젝트입니다. 이 프로젝트는 딥러닝 기술을 사용하여 도메인 보정 번역을 사용하여 자연 사진을 애니메이션, 3D, 손으로 그린 그림, 스케치 등 다양한 아트 스타일로 원활하게 변환합니다. DCT-Net은 다양한 사전 학습 모델을 제공하고 맞춤형 스타일 데이터의 학습을 지원하여 개인 엔터테인먼트, 창의적인 디자인뿐만 아니라 영화 및 게임 산업에 적합합니다.

기능 목록

다양한 예술적 스타일을 아우르는 사전 훈련된 다양한 모델을 제공합니다.
사용자 지정 스타일 데이터로 교육 지원
온라인 평가판, 로컬 환경 구성 필요 없음
CPU 및 GPU 환경을 모두 지원하는 효율적인 성능
이미지 및 동영상 스타일 변환

도움말 사용

설치 및 구성

종속성 설치: 먼저 modelscope 라이브러리를 설치해야 하며, 다음 명령어로 설치할 수 있습니다:
```
pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
```
사전 학습된 모델 다운로드코드를 처음 실행하면 모델이 사전 학습 파일을 자동으로 다운로드합니다.

이미지 스타일 변환

모델 정의: DCT-Net 모델로 변환할 5가지 유형의 얼굴 스타일을 정의합니다:

model_dict = {
    "anime": "damo/cv_unet_person-image-cartoon_compound-models",
    "3d": "damo/cv_unet_person-image-cartoon-3d_compound-models",
    "handdrawn": "damo/cv_unet_person-image-cartoon-handdrawn_compound-models",
    "sketch": "damo/cv_unet_person-image-cartoon-sketch_compound-models",
    "art": "damo/cv_unet_person-image-cartoon-artstyle_compound-models"
}

이미지 로드 및 변환::

import os
import cv2
from IPython.display import Image, display, clear_output
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.outputs import OutputKeys

style = "anime"  # 可选 "anime", "3d", "handdrawn", "sketch", "art"
filename = "4.jpg"
img_path = 'picture/' + filename

img_anime = pipeline(Tasks.image_portrait_stylization, model=model_dict["anime"])
result = img_anime(img_path)

save_name = 'picture/images/' + os.path.splitext(filename)[0] + '_' + style + '.jpg'
cv2.imwrite(save_name, result[OutputKeys.OUTPUT_IMG])
clear_output()
display(Image(save_name))

동영상 스타일 변환

비디오 프레임 추출::

video = 'sample_video.mp4'
video_file = 'movie/' + video
image_dir = 'movie/images/'

vc = cv2.VideoCapture(video_file)
i = 0
if vc.isOpened():
    rval, frame = vc.read()
    while rval:
        cv2.imwrite(image_dir + str(i) + '.jpg', frame)
        i += 1
        rval, frame = vc.read()
vc.release()