소니트랜슬레이트: 오픈 소스 비디오 번역 더빙 솔루션, 멀티플레이어 더빙, 속도 조정 및 원본 사운드 모방

일반 소개

소니트랜스레이트는 비디오 번역 및 동기화된 오디오를 위한 솔루션을 제공하도록 설계된 강력하고 사용자 친화적인 비디오 다국어 더빙 툴입니다. 고급 음성 인식 및 기계 번역 기술을 사용하여 비디오 콘텐츠를 여러 언어로 번역하고 오디오를 동기화합니다. Gradio 라이브러리를 기반으로 구축된 이 프로젝트는 다국어 비디오 번역이 필요한 콘텐츠 제작자와 사용자를 위해 여러 언어와 여러 출력 형식을 지원하는 사용자 친화적인 웹 인터페이스를 제공합니다.

Colab 노트북: https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

: 온라인 데모: https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

기능 목록

비디오 번역동영상 콘텐츠를 여러 언어로 번역합니다.
동기화된 오디오번역된 오디오를 비디오와 동기화 상태로 유지합니다.
다국어 지원80개 이상의 언어에 대한 번역 지원.
자막 생성번역된 자막 파일 자동 생성.
음성 대체: 비디오의 원본 음성을 TTS 모델로 대체합니다.
사용자 친화적인 인터페이스Gradio 라이브러리에 구축된 사용하기 쉬운 웹 인터페이스.
다양한 출력 형식MP3, MP4, MKV, WAV 및 OGG 형식의 출력이 지원됩니다.

도움말 사용

설치 프로세스

환경 준비하기NVIDIA 드라이버와 CUDA 11.8.0이 설치되어 있는지 확인합니다.
FFmpeg 설치비디오 및 오디오 파일 처리용.
소니트랜스레이트 설치::
- GitHub 리포지토리를 복제합니다:git clone https://github.com/R3gm/SoniTranslate.git
- 프로젝트 카탈로그로 이동합니다:cd SoniTranslate
- Conda 환경을 만들고 활성화합니다:conda create -n sonitr python=3.8(수학.) 속conda activate sonitr
- 종속성을 설치합니다:pip install -r requirements.txt
애플리케이션 실행::
- 애플리케이션을 실행합니다:python app_rvc.py
- 브라우저를 열어 로컬 URL(http://127.0.0.1:7860)에 액세스합니다.

사용 프로세스

동영상 업로드: 웹 인터페이스에서 번역할 동영상 파일을 업로드합니다.
언어 선택번역 대상 언어 선택.
구성 옵션자막 생성, 음성 대체 등과 같은 옵션을 필요에 따라 구성합니다.
번역 시작'번역 시작' 버튼을 클릭하고 번역이 완료될 때까지 기다립니다.
결과 다운로드번역이 완료되면 번역된 비디오, 오디오 또는 자막 파일을 다운로드합니다.

세부 단계

동영상 업로드: '동영상 업로드' 버튼을 클릭하여 업로드할 로컬 동영상 파일을 선택합니다.
언어 선택: '대상 언어' 드롭다운 메뉴에서 번역할 언어를 선택합니다.
구성 옵션::
- 자막 생성'자막 생성' 옵션을 선택하면 시스템이 자동으로 번역된 자막 파일을 생성합니다.
- 음성 대체'음성 교체' 옵션을 선택하면 시스템이 동영상의 원본 음성을 TTS 모델로 대체합니다.
번역 시작'번역 시작' 버튼을 클릭하면 시스템이 동영상 처리 및 번역을 시작합니다.
진행 상황 보기: '번역 진행률' 열에서 현재 번역 진행률을 확인하고 번역이 완료될 때까지 기다립니다.
결과 다운로드번역이 완료되면 '다운로드' 버튼을 클릭하고 원하는 출력 형식(MP3, MP4, MKV, WAV 또는 OGG)을 선택한 후 결과 파일을 다운로드합니다.