RAIN: 실제 사람의 표정을 실시간으로 캡처하여 애니메이션 이미지의 비디오 스트림을 생성합니다.

일반 소개

RAIN(Real-time Animation Of Infinite Video Stream)은 무한 비디오 스트림에 대한 애니메이션 효과를 실시간으로 생성할 수 있도록 설계된 오픈 소스 프로젝트입니다. Pscgylotti가 개발한 이 프로젝트는 일반 사용자 디바이스에서 동영상을 생성할 수 있는 솔루션을 제공합니다. 최신 딥러닝 기술을 사용하여 사용자가 업로드한 이미지를 기반으로 연속적인 비디오 스트림을 생성할 수 있으며 애니메이션 제작, 비디오 효과 및 기타 분야에 적용할 수 있습니다.

RAIN은 소비자용 디바이스에서 실시간 애니메이션을 제작합니다.

기능 목록

• 실시간으로 애니메이션 동영상 생성
• 사용자 디바이스에서 동영상 생성 지원
• 사전 학습된 다양한 모델과 가중치 제공
• TensorRT 가속 지원
• Gradio 애플리케이션 인터페이스 제공
• 여러 비디오 생성 매개변수 조정 지원

도움말 사용

설치 프로세스

1. Python >= 3.10이 설치되어 있는지 확인합니다.
2. 파이토치 공식 웹사이트에서 다운로드할 수 있는 파이토치(권장 버전 2.3.0 이상)를 설치합니다.
3. RAIN 프로젝트 리포지토리를 복제합니다:

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. 추론에 필요한 종속성을 설치합니다:

   pip install -r requirements_inference.txt

사용 프로세스

1. 사전 학습된 모델과 가중치를 다운로드하세요:
   • Google 드라이브 또는 허깅페이스 허브에서 원본 RAIN 가중치를 다운로드하여 다음과 같이 입력합니다.weights/torch/카탈로그.
   • 다른 필수 모델 파일을 다운로드하여 적절한 디렉터리에 배치합니다(예weights/onnx/).
2. Gradio 애플리케이션을 시작합니다:

   python gradio_app.py

브라우저를 열고 다음 사이트를 방문하세요.http://localhost:7860/애니메이션 캐릭터의 상반신 초상화를 업로드하고 매개변수를 조정한 다음 얼굴 모핑을 시작합니다.

3. 동영상 생성 매개변수를 조정합니다:
   • Gradio 인터페이스에서 필요에 따라 다양한 파라미터를 조정하여 최상의 애니메이션 효과를 얻을 수 있습니다.
   • 최적의 얼굴 합성을 위해 눈 관련 파라미터를 조정하는 데 특별한 주의를 기울입니다.

세부 기능

• 실시간으로 동영상 스트림 생성RAIN은 사용자가 업로드한 이미지를 기반으로 실시간으로 연속 비디오 스트림을 생성할 수 있어 애니메이션 제작 및 비디오 효과에 적합합니다.
• 사용자가 업로드한 이미지 지원사용자가 이미지를 업로드하면 RAIN이 해당 이미지를 기반으로 해당 동영상 스트림을 생성합니다.
• 다양한 동영상 생성 매개변수 조정 기능 제공: 사용자가 생성 매개변수를 조정하여 최상의 애니메이션 효과를 얻을 수 있습니다.
• TensorRT 가속 지원TensorRT 가속을 활성화하면 RAIN은 모델 컴파일을 더 짧은 시간 내에 완료하여 추론 속도를 높일 수 있습니다.
• 사전 학습된 모델을 다운로드할 수 있습니다.사용자는 여러 플랫폼에서 사전 학습된 모델을 다운로드하여 빠르게 시작할 수 있습니다.
• 여러 딥 러닝 프레임워크와 호환RAIN은 PyTorch와 같은 다양한 딥 러닝 프레임워크를 지원하여 2차 개발을 용이하게 합니다.

하드웨어 요구 사항

• 전체 추론 데모를 실행하려면 일반적으로 약 12GB의 디바이스 RAM이 필요합니다.
• 합성 모델은 단독 실행 시 약 8GB의 디바이스 RAM이 필요합니다.

참조 프로젝트

RAIN 프로젝트는 AnimateAnyone, Moore-AnimateAnyone, Open-AnimateAnyone 등과 같은 여러 오픈 소스 프로젝트를 기반으로 하며, 이러한 프로젝트의 장점을 결합하여 효율적인 실시간 애니메이션 생성을 달성합니다.