SkyReels-V1: 고품질 휴먼 액션 동영상 생성을 위한 오픈 소스 동영상 모델

일반 소개

SkyReels-V1은 인간 중심의 고품질 동영상 콘텐츠 제작에 초점을 맞춘 SkyworkAI 팀이 개발한 오픈 소스 프로젝트입니다. 이 프로젝트는 다음을 기반으로 합니다. 훈위안비디오 SkyMovie는 수천만 개의 고화질 영화 및 TV 클립을 미세 조정하여 만든 세계 최초의 휴먼 액션 비디오 베이스 모델입니다. SkyReels-V1은 오픈 소스이기 때문에 동급의 다른 도구와 차별화되며 크리에이터, 교육자, AI 연구자가 스케치, 애니메이션 또는 기술 탐색에 사용하기에 적합합니다. 이 프로젝트는 GitHub에서 호스팅됩니다. 이 프로젝트는 GitHub에서 호스팅되며 사용자가 빠르게 시작할 수 있도록 자세한 코드, 모델 가중치 및 설명서를 제공합니다.

기능 목록

• 텍스트 비디오 변환(T2V)"선글라스를 쓴 고양이가 수영장에서 안전요원으로 일합니다"와 같이 사용자가 입력한 텍스트 설명을 기반으로 애니메이션 동영상을 생성합니다.
• 이미지-비디오(I2V)정지 이미지를 움직이는 동영상으로 변환하여 원본 이미지의 특징을 보존하고 자연스러운 움직임을 추가합니다.
• 고급 얼굴 애니메이션33가지 미묘한 표정과 400가지 이상의 동작 조합을 지원하여 사람의 감정과 몸짓을 정확하게 표현합니다.
• 영화관 수준의 화질고품질 영화 및 텔레비전 데이터로 교육하여 전문적인 구도, 조명 효과 및 카메라 감각을 제공합니다.
• 효율적인 추론 프레임워크스카이릴스인퍼를 통한 빠른 동영상 생성, 멀티 GPU 병렬 컴퓨팅을 지원하여 생성 효율을 향상시킵니다.
• 유연한 매개변수 조정비디오 해상도(예: 544x960), 프레임 속도(예: 97fps), 가이드 스케일 등 사용자가 정의할 수 있는 매개변수입니다.
• 오픈 소스 모델 가중치:: 개발자가 직접 다운로드하고 2차 개발할 수 있도록 사전 학습된 모델을 제공합니다.

도움말 사용

설치 프로세스

SkyReels-V1은 파이썬 기반 도구로, 일부 하드웨어 및 소프트웨어 환경 지원이 필요합니다. 아래는 자세한 설치 및 사용 단계입니다:

환경 요구 사항

• 소프트웨어CUDA를 지원하려면 RTX 4090 또는 A800과 같은 NVIDIA GPU가 탑재된 컴퓨터를 사용하는 것이 좋습니다.
• 운영 체제Windows, Linux 또는 macOS(후자의 경우 추가 구성이 필요할 수 있음).
• 소프트웨어 종속성: Python 3.10+, CUDA 12.2, PyTorch, Git.

설치 단계

1. 클론 창고
   터미널을 열고 다음 명령을 입력하여 SkyReels-V1 프로젝트 코드를 다운로드합니다:

git clone https://github.com/SkyworkAI/SkyReels-V1.git
cd SkyReels-V1

이렇게 하면 로컬에 프로젝트 폴더가 생성됩니다.

2. 가상 환경 만들기(선택 사항이지만 권장 사항)
   종속성 충돌을 방지하려면 가상 환경을 사용하는 것이 좋습니다:

conda create -n skyreels python=3.10
conda activate skyreels

3. 종속성 설치
   이 프로젝트는 requirements.txt 파일을 열고 다음 명령을 실행하여 필요한 라이브러리를 설치합니다:

pip install -r requirements.txt

네트워크가 열려 있는지 확인합니다. 설치를 완료하는 데 몇 분 정도 걸릴 수 있습니다.

4. 모델 가중치 다운로드
   SkyReels-V1의 모델 웨이트는 허깅 페이스에서 호스팅되며 로컬에서 수동으로 다운로드하거나 코드를 통해 직접 경로를 지정하여 다운로드할 수 있습니다. 액세스 포옹하는 얼굴 모델 페이지다운로드 SkyReels-V1-Hunyuan-T2V 폴더를 프로젝트 디렉토리에 배치합니다(예 /path/to/SkyReels-V1/models).
5. 설치 확인
   샘플 명령을 실행하여 환경이 제대로 작동하는지 테스트합니다:

python3 video_generate.py --model_id ./models/SkyReels-V1-Hunyuan-T2V --prompt "FPS-24, A dog running in a park"

오류가 보고되지 않고 동영상이 생성되면 설치에 성공한 것입니다.

주요 기능의 작동

텍스트 비디오 변환(T2V)

1. 단서 준비
   동영상 콘텐츠를 설명하는 큐를 작성합니다(예: "FPS-24"로 시작해야 함):

FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool

2. 생성 명령 실행
   터미널에 다음 명령을 입력합니다:

python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" 
--embedded_guidance_scale 1.0 
--quant --offload --high_cpu_memory 
--gpu_num 1

• --guidance_scale텍스트 스티어링의 강도를 조절합니다(6.0 권장).
• --height 노래로 응답 --width동영상 해상도를 설정합니다(기본값 544x960).
• --num_frames프레임을 생성하며, 97프레임은 약 4초 분량의 동영상(24 FPS)에 해당합니다.
• --quant및--offload저사양 기기의 메모리 사용량을 최적화합니다.

3. 출력 결과
   생성된 동영상은 results/skyreels 폴더에 큐 단어 + 시드 값의 파일 이름(예 FPS-24_A_cat_wearing_sunglasses_42_0.mp4.

이미지-비디오(I2V)

1. 이미지 준비하기
   544x960에 가까운 권장 해상도로 선명한 정지 이미지(예: PNG 또는 JPG)를 업로드합니다.
2. 명령 실행
   증가 --task_type i2v 노래로 응답 --image 매개변수 등을 예로 들 수 있습니다:

python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--task_type i2v 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A person dancing" 
--image ./input/cat_photo.png 
--embedded_guidance_scale 1.0

3. 결과 보기
   출력 비디오는 이미지를 기반으로 동적 콘텐츠를 생성하며, 이 콘텐츠는 또한 results/skyreels 폴더.

결과 최적화를 위한 매개변수 조정

• 프레임 속도 및 지속 시간수정 :: 수정 --num_frames 노래로 응답 --fps(기본값 24) 또는 10초 동영상의 경우 240fps로 설정합니다.
• 화질증가 :: 증가 --num_inference_steps(기본값 30)을 사용하면 디테일이 향상되지만 시간이 더 오래 걸립니다.
• 멀티 GPU 지원: 설정 --gpu_num 를 사용 가능한 GPU 수로 설정하여 처리를 가속화할 수 있습니다.

주요 기능 작동

고급 얼굴 애니메이션

SkyReels-V1의 가장 큰 특징은 얼굴 애니메이션 기능입니다. 특정 표정(예: "놀람" 또는 "웃음")을 설명하면 모델이 33가지 표정 중 하나를 자연스러운 움직임으로 자동으로 생성합니다. 예를 들어

FPS-24, 카페에서 활짝 웃고 있는 여자

생성된 영상 속 캐릭터는 실사에 가까운 디테일로 사실적인 미소와 몸의 미세한 움직임을 표현합니다.

영화관 수준의 그래픽

추가 구성이 필요 없는 SkyReels-V1은 기본적으로 전문적인 조명과 구성을 갖춘 비디오를 출력합니다. 큐에 장면 설명(예: "밤에 네온 불빛 아래")을 추가하면 더욱 영화 같은 느낌을 연출할 수 있습니다.

주의

• 하드웨어 제한GPU 메모리가 부족한 경우(예: 12GB 미만), GPU 메모리가 부족하면 --quant 노래로 응답 --offload를 클릭하거나 해상도를 512x320으로 낮춥니다.
• 큐워드 기법간결하고 구체적인 설명이 가장 효과적이며 모호한 단어는 피하세요.
• 커뮤니티 지원피드백을 제출하거나 커뮤니티 토론을 확인하려면 GitHub 이슈 페이지를 방문하세요.

이 단계를 통해 사용자는 짧은 스케치부터 애니메이션 실험까지, SkyReels-V1을 쉽게 시작하고 고품질 동영상 콘텐츠를 생성할 수 있습니다.