흐름에 따라 이동: 동영상에서 움직이는 물체를 더하거나 빼는 등 동영상 속 물체의 움직임을 제어합니다.

일반 소개

Go-with-the-Flow는 넷플릭스 아이라인 스튜디오 연구팀이 노이즈를 왜곡하여 동영상 확산 모델의 움직임 패턴을 제어하기 위해 개발한 오픈 소스 프로젝트입니다. 이 프로젝트를 통해 사용자는 장면의 카메라와 오브젝트가 움직이는 방식을 결정하고 한 비디오에서 다른 비디오로 모션 패턴을 전송할 수도 있으며, Go-with-the-Flow는 원래 파이프라인이나 아키텍처를 변경하지 않고 기본 모델을 미세 조정하여 이를 달성할 수 있습니다. 이 프로젝트의 코드와 모델은 오픈 소스이며 사용자가 자유롭게 사용하고 수정할 수 있습니다.

ComfyUI 노드: https://github.com/kijai/ComfyUI-VideoNoiseWarp

기능 목록

• 전단 및 드래그 모션 제어: 사용자는 이미지의 여러 부분을 잘라내어 드래그하여 동영상을 만들 수 있습니다.
• 비디오 확산거친 애니메이션을 아름다운 애니메이션으로 변환하려면 GPU를 사용해야 합니다.
• 노이즈 왜곡보다 자연스러운 움직임을 위해 순수한 가우시안 노이즈 대신 왜곡된 노이즈를 사용합니다.
• 모션 모드 전환한 동영상에서 다른 동영상으로 모션 패턴을 적용합니다.
• 그래픽 사용자 인터페이스(GUI)사용자가 만든 애니메이션을 위한 기본 GUI를 제공합니다.
• 오픈 소스모든 코드와 모델은 오픈 소스이며 사용자가 자유롭게 액세스하고 수정할 수 있습니다.

도움말 사용

설치 프로세스

1. 복제 창고:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow

2. 로컬 종속성을 설치합니다:

   pip install -r requirements_local.txt

3. GUI를 실행합니다:

   python cut_and_drag_gui.py

GUI의 지침에 따라 작업을 완료하고 생성된 MP4 파일은 추가 처리를 위해 GPU가 있는 컴퓨터로 전송해야 합니다.

사용 프로세스

1. 리포지토리를 복제하고 GPU가 있는 컴퓨터에 종속 요소를 설치합니다:

   git clone https://github.com/VGenAI-Netflix-Eyeline-Research/Go-with-the-Flow.git
cd Go-with-the-Flow
pip install -r requirements.txt

2. 왜곡된 노이즈:

   python make_warped_noise.py <视频路径或 URL> --output_folder noise_warp_output_folder

3. 추론 실행:

   python cut_and_drag_inference.py noise_warp_output_folder \
--prompt "A duck splashing" \
--output_mp4_path "output.mp4" \
--device "cuda" \
--num_inference_steps 5

필요에 따라 폴더 경로, 큐 단어 및 기타 하이퍼파라미터를 조정합니다. 출력은 다음과 같이 저장됩니다. output.mp4.

주요 기능

• 전단 및 드래그 모션 제어: GUI에서 이미지의 다른 부분을 선택하고 드래그하여 러프 애니메이션을 만듭니다.
• 비디오 확산: 거친 애니메이션 파일을 GPU가 있는 컴퓨터로 전송하고 추론 스크립트를 실행하여 멋진 애니메이션을 생성합니다.
• 노이즈 왜곡사용 make_warped_noise.py 스크립트는 보다 자연스러운 모션 효과를 위해 왜곡 노이즈를 생성합니다.
• 모션 모드 전환단서 및 하이퍼파라미터를 조정하여 한 동영상에서 다른 동영상으로 모션 패턴을 적용합니다.

세부 운영 절차

1. 잘라내어 드래그GUI에서 이미지를 로드하고 마우스를 사용하여 이미지의 여러 부분을 선택하고 드래그하여 대략적인 애니메이션을 만듭니다.
2. 왜곡된 노이즈 생성GPU가 있는 컴퓨터에서 실행 make_warped_noise.py 스크립트를 사용하여 왜곡 노이즈 파일을 생성합니다.
3. 추론 실행사용 cut_and_drag_inference.py 거친 애니메이션을 MP4 파일로 출력할 수 있도록 멋진 애니메이션으로 변환하는 스크립트입니다.
4. 조정 매개변수최상의 결과를 위해 필요에 따라 단서, 하이퍼파라미터 및 파일 경로를 조정합니다.

위의 단계를 통해 사용자는 고품질 동영상 생성 및 애니메이션을 위해 동영상의 모션 패턴을 쉽게 생성하고 제어할 수 있습니다.