SkyReels V2: 길이 제한 없는 동영상 생성을 위한 오픈 소스 AI 도구

일반 소개

SkyReels-V2는 SkyworkAI에서 개발한 오픈 소스 비디오 생성 모델입니다. 텍스트-투-비디오(T2V) 및 이미지-투-비디오(I2V) 작업 모두에 고급 확산 강제 기술을 통해 길이에 제한 없이 동영상을 생성할 수 있도록 지원합니다. 사용자는 텍스트 설명이나 입력 이미지를 사용하여 고품질의 영화관급 비디오 콘텐츠를 생성할 수 있습니다. 이 모델은 오픈 소스 커뮤니티에서 Kling 및 Runway-Gen4와 같은 상용 모델에 필적하는 성능으로 강력한 실적을 보유하고 있습니다. 개발자, 크리에이터, 연구자에게 적합한 유연한 추론 패턴을 제공하며, SkyReels-V2의 코드와 모델 가중치는 GitHub에서 공개되어 쉽게 다운로드 및 배포할 수 있습니다.

기능 목록

• 길이 제한 없는 동영상 생성단편 영화부터 장편 영화까지 모든 길이의 동영상 제작을 지원합니다.
• 텍스트 비디오 변환(T2V)텍스트 프롬프트를 통해 설명과 일치하는 동영상 콘텐츠를 생성합니다.
• 이미지-비디오(I2V): 입력 이미지를 기반으로 이미지 특성을 유지하면서 동적 비디오를 생성합니다.
• 멀티모달 지원대규모 언어 모델링(MLLM)과 강화 학습을 결합하여 동영상 생성 품질을 개선합니다.
• 스토리 생성내러티브 로직에 맞는 동영상 스토리보드를 자동으로 생성합니다.
• 카메라 제어카메라 앵글과 움직임을 사용자 지정할 수 있는 감독의 관점을 제공합니다.
• 다중 주제 일관성SkyReels-A2 시스템으로 다중 역할 동영상에서 시각적 일관성을 보장합니다.
• 효율적인 추론 프레임워크생성 속도와 리소스 사용을 최적화하기 위해 멀티 GPU 추론을 지원합니다.

도움말 사용

설치 프로세스

SkyReels-V2는 Python 기반 오픈 소스 프로젝트이므로 로컬 또는 서버에서 환경을 구성해야 합니다. 자세한 설치 단계는 다음과 같습니다:

1. 클론 창고
   터미널을 열고 다음 명령을 실행하여 SkyReels-V2 코드를 가져옵니다:

   git clone https://github.com/SkyworkAI/SkyReels-V2
   cd SkyReels-V2
   

2. 가상 환경 만들기
   종속성 충돌을 피하려면 Python 3.10.12를 사용하여 가상 환경을 만드는 것이 좋습니다:

   conda create -n skyreels-v2 python=3.10
   conda activate skyreels-v2
   

3. 종속성 설치
   프로젝트에 필요한 Python 라이브러리를 설치하고 실행합니다:

   pip install -r requirements.txt
   

4. 모델 가중치 다운로드
   SkyReels-V2의 모델 웨이트는 Hugging Face에서 호스팅됩니다. 다음 명령을 사용하여 다운로드하세요:

   pip install -U "huggingface_hub[cli]"
   huggingface-cli download Skywork/SkyReels-V2 --local-dir ./models
   

   디스크 공간이 충분한지 확인합니다(모델에 따라 수십 기가바이트가 될 수 있음).

5. 하드웨어 요구 사항
   • 최소 구성FP8을 지원하는 싱글 블록 RTX 4090(24GB VRAM)으로 메모리 요구 사항을 대폭 줄였습니다.
   • 권장 구성효율적인 병렬 추론을 지원하는 다중 GPU(예: 4~8개의 A100).
   • 최소 32GB의 시스템 메모리와 100GB의 디스크 공간이 필요합니다.

사용법

SkyReels-V2는 텍스트 비디오 변환(T2V)과 이미지 비디오 변환(I2V)의 두 가지 주요 기능을 제공합니다. 구체적인 작동 절차는 다음과 같습니다:

텍스트 비디오 변환(T2V)

1. 단서 준비
   예를 들어 동영상 콘텐츠를 설명하는 텍스트 프롬프트를 작성합니다:

   A serene lake surrounded by towering mountains, with swans gliding across the water.
   

   원치 않는 요소를 피하기 위해 네거티브 단서를 추가할 수 있습니다:

   low quality, deformation, bad composition
   

2. 생성된 스크립트 실행
   수정 generate_video.py 매개변수를 설정하고 해상도, 프레임 속도 등을 설정합니다:

   python generate_video.py --model_id "Skywork/SkyReels-V2-T2V-14B-540P" --prompt "A serene lake surrounded by mountains" --num_frames 97 --fps 24 --outdir ./output
   

   • --model_id: 모델을 선택합니다(예: 540P 또는 720P).
   • --num_frames: 동영상 프레임 속도를 설정합니다(기본값 97).
   • --fps프레임 속도(기본값 24).
   • --outdir출력 비디오 저장 경로.
3. 출력 보기
   생성된 동영상은 MP4 형식으로 저장됩니다. output/serene_lake_42_0.mp4.

이미지-비디오(I2V)

1. 입력 이미지 준비하기
   해상도가 모델과 일치하는 고품질 이미지(예: PNG 또는 JPG)를 제공합니다(기본값 960x544).
2. 생성된 스크립트 실행
   존재 generate_video.py 이미지 경로를 지정합니다.

   python generate_video.py --model_id "Skywork/SkyReels-V2-I2V-14B-540P" --prompt "A warrior fighting in a forest" --image ./input_image.jpg --num_frames 97 --fps 24 --outdir ./output
   

   • --image: 이미지 경로를 입력합니다.
   • 다른 매개변수는 T2V의 매개변수와 유사합니다.
3. 최적화 설정
   • 활용 --guidance_scale(기본값 6.0) 텍스트 스티어링의 강도를 조정합니다.
   • 활용 --inference_steps(기본값 30) 생성 품질을 제어하며, 단계가 많을수록 품질은 높아지지만 시간이 오래 걸립니다.
   • 사용 시작 --offload 그래픽 메모리 부족 장치에 최적화된 메모리 사용량.

주요 기능 작동

1. 길이 제한 없는 동영상
   SkyReels-V2는 확산 강제 기술을 사용하여 매우 긴 동영상 생성을 지원합니다. 긴 동영상 추론 스크립트를 실행합니다:

   python inference_long_video.py --model_id "Skywork/SkyReels-V2-T2V-14B-720P" --prompt "A sci-fi movie scene" --num_frames 1000
   

   • 각각 97~192프레임의 세그먼트로 생성한 다음 포스트 프로덕션 도구를 사용하여 스티칭하는 것이 좋습니다.
2. 스토리 생성
   SkyReels-A2 시스템의 스토리 생성 기능을 사용하여 플롯 설명을 입력합니다:

   A hero’s journey through a futuristic city, facing challenges.
   

   실행 중입니다:

   python story_generate.py --prompt "A hero’s journey" --output story_video.mp4
   

   시스템은 스토리보드가 포함된 동영상을 생성하여 장면과 샷을 자동으로 정렬합니다.

3. 카메라 제어
   통과(청구서 또는 검사 등) --camera_angle 매개변수는 렌즈 보기(예: "정면" 또는 "프로필")를 설정합니다:

   python generate_video.py --prompt "A car chase" --camera_angle "profile" --outdir ./output
   

4. 다중 주제 일관성
   SkyReels-A2는 다중 캐릭터 장면을 지원합니다. 실행할 여러 참조 이미지를 제공합니다:

   python multi_subject.py --prompt "Two characters talking" --images "char1.jpg,char2.jpg" --outdir ./output
   

   동영상 전체에서 캐릭터가 시각적으로 일관성을 유지해야 합니다.

최적화 및 디버깅

• 메모리 부족: 사용 --quant FP8을 사용한 정량화 또는 --offload 일부 계산을 CPU로 오프로드합니다.
• 품질 생성증가 --inference_steps(예: 50) 또는 조정 --guidance_scale(예: 8.0).
• 커뮤니티 지원GitHub 이슈에서 문제를 확인하거나 SkyReels 커뮤니티 토론.

애플리케이션 시나리오

1. 짧은 동영상 제작
   크리에이터는 T2V 기능을 사용하여 소셜 미디어 콘텐츠 제작에 적합한 텍스트에서 짧은 동영상 클립을 빠르게 생성할 수 있습니다.
2. 영화 사전 제작
   감독은 길이 제한 없는 동영상 및 스토리 생성 기능을 사용하여 영화 예고편이나 컨셉 필름을 제작할 수 있으므로 초기 비용을 절감할 수 있습니다.
3. 가상 이커머스 쇼케이스
   I2V 기능을 사용하면 제품 사진을 동적 동영상으로 전환하여 가상 장면에서 제품이 어떻게 사용되는지 보여줄 수 있습니다.
4. 교육용 애니메이션
   교사는 텍스트 설명에서 교육용 애니메이션을 생성하여 과학 실험 과정과 같은 복잡한 개념을 시각화할 수 있습니다.
5. 게임 개발
   개발자는 게임 장면이나 캐릭터 애니메이션을 생성하여 프로토타이핑이나 전환을 위한 자료로 사용할 수 있습니다.

QA

1. SkyReels-V2는 어떤 해상도를 지원하나요?
   현재 540P(960x544) 및 720P(1280x720)를 지원하며, 향후 더 높은 해상도로 확장할 예정입니다.
2. 실행하려면 얼마나 많은 비디오 메모리가 필요하나요?
   단일 RTX 4090(24GB)으로 기본적인 추론을 실행할 수 있으며, 멀티 GPU 구성으로 원시 영상과 성장한 영상을 가속화할 수 있습니다.
3. 생성된 동영상의 품질을 개선하려면 어떻게 해야 하나요?
   추론 단계 수를 늘립니다(--inference_steps), 프롬프트 단어를 최적화하거나 고품질 입력 이미지를 사용합니다.
4. 실시간 생성을 지원하나요?
   현재 오프라인 세대인 실시간 세대는 더 높은 하드웨어 지원이 필요하며 향후 최적화될 수 있습니다.
5. 모델 웨이트는 무료인가요?
   예, SkyReels-V2는 완전히 오픈 소스이며 무게추를 허깅페이스에서 무료로 다운로드할 수 있습니다.