루이 모델: 렌즈 제어 및 모션 진폭 제어를 지원하는 이미지-투-비디오 오픈 소스 모델을 생성합니다.

일반 소개

Ruyi-Models는 이미지에서 고품질의 동영상을 생성하도록 설계된 오픈 소스 프로젝트입니다. IamCreateAI 팀이 개발한 이 프로젝트는 768 해상도, 초당 24프레임, 총 5초, 120프레임의 시네마틱급 동영상 생성을 지원합니다. Ruyi-Models는 샷 제어 및 모션 제어를 지원하며 RTX 3090 또는 RTX 4090 그래픽 카드를 사용하여 512 해상도, 120프레임(또는 768 해상도, 약 72 프레임)의 손실 없는 동영상을 생성할 수 있습니다. 이 프로젝트는 자세한 설치 및 이 프로젝트는 다양한 사용자 요구에 맞는 자세한 설치 및 사용 지침을 제공합니다.

공식 웹사이트: https://www.iamcreate.ai/

기능 목록

• 이미지-비디오 생성: 고품질의 영화관급 비디오를 생성합니다.
• 렌즈 제어: 렌즈의 왼쪽/오른쪽, 위/아래 및 정적 제어를 지원합니다.
• 모션 진폭 제어: 다양한 진폭의 모션 제어를 지원합니다.
• GPU 메모리 최적화: 다양한 사용자의 요구를 충족하기 위해 다양한 GPU 메모리 최적화 옵션을 제공합니다.
• 다양한 마운팅 방법: 지원 대상 ComfyUI 관리자 및 수동 설치.
• 모델 다운로드: 자동 및 수동 모델 다운로드를 지원합니다.

도움말 사용

설치 프로세스

1. 리포지토리를 복제하고 필요한 종속 요소를 설치합니다:

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. ComfyUI 사용자의 경우:
   • 방법 1: ComfyUI 관리자를 통한 설치.

ComfyUI를 시작하고 관리자를 열고 사용자 정의 노드 관리자를 선택한 다음 "Ruyi"를 검색합니다. 아래 스크린샷과 같이 검색 결과에서 ComfyUI-Ruyi를 선택하고 "설치" 버튼을 클릭하여 설치합니다.

마지막으로 "ComfyUI-VideoHelperSuite"를 검색하여 설치합니다.

1. • 방법 2: 수동 설치:

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. 비디오 출력을 표시하려면 ComfyUI-VideoHelperSuite를 설치합니다:

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Windows 사용자의 경우:
   • 컴피유이_윈도우_포터블_엔비디아 배포판을 사용합니다:

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

사용법

1. 모델을 다운로드하고 지정된 경로에 저장합니다:
   • 예를 들어, Ruyi-Mini-7B 모델을 다운로드한 후 Ruyi-Models/models 폴더로 이동합니다.
   • ComfyUI 사용자의 경우 경로는 다음과 같아야 합니다. ComfyUI/models/Ruyi.
2. 모델을 실행합니다:
   • Python 코드로 직접 실행하세요:

     python3 predict_i2v.py
     

   • 스크립트는 모델을 Ruyi-Models/models 폴더를 열고 assets 폴더의 이미지는 동영상 추론의 시작 프레임과 종료 프레임으로 사용됩니다. 스크립트의 변수를 수정하여 입력 이미지를 대체하고 동영상 길이 및 해상도와 같은 매개변수를 설정할 수 있습니다.
3. GPU 메모리 최적화:
   • offer GPU_memory_mode 노래로 응답 GPU_offload_steps 옵션을 사용하여 다양한 사용자의 요구에 맞게 GPU 메모리 사용량을 줄일 수 있습니다. GPU 메모리를 적게 사용하려면 더 많은 RAM과 더 긴 생성 시간이 필요합니다.