FoleyCrafter: 무음 동영상에 생생한 동기화 사운드 추가하기

일반 소개

FoleyCrafter는 무음 동영상에 생생하고 동기화된 음향 효과를 생성하기 위해 OpenMMLab에서 개발한 오픈 소스 프로젝트입니다. 이 프로젝트는 고급 인공 지능 기술을 사용하여 비디오 콘텐츠를 분석하고 의미적으로 관련성이 높고 시간에 동기화된 음향 효과를 생성하여 비디오의 사실감과 감정적 깊이를 향상시키며, 영화, 게임 및 기타 분야에 고품질 사운드 솔루션을 제공하여 시청자의 시청각 경험을 향상시키는 것을 목표로 합니다.

자동화된 보이스오버 워크플로우 합성: https://openart.ai/workflows/t8star/foleycrafter/wZyBSeaa2lvgU3c3NlcH

기능 목록

• 비디오-오디오 생성비디오 콘텐츠를 기반으로 의미적으로 관련성이 높고 동기화된 음향 효과를 생성합니다.
• 텍스트 알림 소리 생성텍스트 단서에서 장면별 사운드 효과를 생성합니다.
• 시간 정렬생성된 음향 효과가 동영상 콘텐츠와 시간 동기화되었는지 확인합니다.
• 라디오 인터페이스사운드 생성 작업을 위한 사용자 친화적인 인터페이스를 제공합니다.
• 오픈 소스개발자의 2차 개발 및 사용자 지정이 용이하도록 완전한 코드 베이스가 제공됩니다.

도움말 사용

설치 프로세스

1. 환경 준비하기::
   • Conda 환경을 설치합니다:conda env create -f requirements/environment.yaml
   • 환경을 활성화합니다:conda activate foleycrafter
   • Git LFS를 설치합니다:conda install git-lfs를 클릭한 다음 git lfs install
2. 체크포인트 다운로드::
   • 움직여야 합니다. inference.py 체크포인트를 자동으로 다운로드하거나 수동으로 다운로드하여 checkpoints 카탈로그.
3. 라디오 인터페이스 시작하기::
   • 움직여야 합니다. python app.py --share Gradio 인터페이스를 시작합니다.

사용 프로세스

1. 비디오-오디오 생성::
   • 움직여야 합니다. python inference.py --save_dir=output/sora/를 클릭하고 생성된 오디오 파일을 지정된 디렉토리에 저장합니다.
2. 시간 정렬::
   • 움직여야 합니다. python inference.py --temporal_align --input=input/avsync --save_dir=output/avsync/생성된 음향 효과는 동영상 콘텐츠의 시간에 맞춰 동기화됩니다.
3. 텍스트 알림 소리 생성::
   • 움직여야 합니다. python inference.py --input=input/PromptControl/case1/ --seed=10201304011203481429 --prompt='noisy, people talking' --save_dir=output/PromptControl/case1_prompt/사운드 효과는 텍스트 단서를 기반으로 특정 장면에 맞게 생성됩니다.

세부 단계

1. 환경 준비하기::
   • Conda 다운로드 및 설치: https://docs.conda.io/en/latest/miniconda.html
   • 프로젝트 코드를 복제합니다:git clone https://github.com/open-mmlab/foleycrafter.git
   • 프로젝트 카탈로그로 이동합니다:cd foleycrafter
   • 위의 단계에 따라 종속 요소를 설치하고 환경을 구성합니다.
2. 체크포인트 다운로드::
   • 디렉터리 구조가 다음과 같은지 확인하면서 체크포인트 파일을 다운로드하여 배치합니다:

    └── checkpoints
   ├── semantic
   │   ├── semantic_adapter.bin
   ├── vocoder
   │   ├── vocoder.pt
   │   ├── config.json
   ├── temporal_adapter.ckpt
   │   └── timestamp_detector.pth.tar
   

3. 라디오 인터페이스 시작하기::
   • 움직여야 합니다. python app.py --share 사용자가 브라우저를 통해 액세스할 수 있는 Gradio 인터페이스를 시작합니다.
4. 음향 효과 생성::
   • 필요에 따라 다양한 생성 모드(비디오에서 오디오로, 시간 정렬, 텍스트 큐)를 선택하고 해당 명령을 실행하여 사운드 파일을 생성합니다.

위의 단계를 통해 사용자는 FoleyCrafter를 쉽게 시작하여 무음 동영상에 생생하고 동기화된 음향 효과를 추가하여 시청각 경험을 향상시킬 수 있습니다. /n