はじめに
SoniTranslate は、ビデオ翻訳と同期オーディオのソリューションを提供するために設計された、パワフルでユーザーフレンドリーなビデオ多言語ダビング ツールです。高度な音声認識技術と機械翻訳技術を駆使してビデオコンテンツを多言語に翻訳し、音声を同期させます。Gradioライブラリ上に構築されたこのプロジェクトは、多言語ビデオ翻訳を必要とするコンテンツ制作者やユーザーのために、複数の言語と複数の出力形式をサポートするユーザーフレンドリーなWebインターフェイスを提供します。
コラボ・ノート：https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb
- オンラインデモ：https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content
機能一覧
- ビデオ翻訳ビデオコンテンツを多言語に翻訳。
- 同期オーディオ翻訳された音声をビデオと同期させます。
- 多言語サポート80以上の言語に対応。
- サブタイトル・ジェネレーション翻訳された字幕ファイルの自動生成
- 言葉の置き換えビデオのオリジナル音声をTTSモデルで置き換えます。
- ユーザーフレンドリーなインターフェースGradio ライブラリで構築された使いやすいウェブインターフェイス。
- 複数の出力フォーマットMP3、MP4、MKV、WAVとOGG形式の出力がサポートされています。
ヘルプの使用
設置プロセス
- 環境を整えるNVIDIAドライバとCUDA 11.8.0がインストールされていることを確認してください。
- FFmpegをインストールするビデオやオーディオファイルの処理用。
- SoniTranslate のインストール::
- GitHubリポジトリをクローンする：
git clone https://github.com/R3gm/SoniTranslate.git - プロジェクト・カタログにアクセスする：
cd SoniTranslate - Conda環境を作成し、アクティベートする：
conda create -n sonitr python=3.8属コンダ・アクティベート・ソニター - 依存関係をインストールします：
pip install -r requirements.txt
- GitHubリポジトリをクローンする：
- アプリケーションの実行::
- アプリケーションを起動する：
python app_rvc.py - ブラウザーを開いてローカルURLにアクセスする： http://127.0.0.1:7860
- アプリケーションを起動する：
使用プロセス
- ビデオのアップロード翻訳するビデオファイルをアップロードしてください。
- 言語選択翻訳対象言語の選択
- 設定オプション字幕の生成、音声の置き換えなど、必要に応じてオプションを設定してください。
- 翻訳開始翻訳開始」ボタンをクリックし、翻訳が完了するまでお待ちください。
- ダウンロード結果翻訳が完了したら、翻訳されたビデオ、オーディオ、または字幕ファイルをダウンロードします。
詳細な手順
- ビデオのアップロード動画のアップロード」ボタンをクリックし、アップロードするローカル動画ファイルを選択します。
- 言語選択ターゲット言語」ドロップダウンメニューで翻訳する言語を選択します。
- 設定オプション::
- サブタイトル・ジェネレーションGenerate Subtitles "オプションにチェックを入れると、翻訳された字幕ファイルが自動的に生成されます。
- 言葉の置き換え音声置換 "オプションをチェックすると、映像の元の音声をTTSモデルに置き換えます。
- 翻訳開始翻訳開始」ボタンをクリックすると、映像の処理と翻訳が開始されます。
- 進捗状況を見る翻訳進捗状況」欄で現在の翻訳進捗状況を確認し、翻訳が完了するのを待ちます。
- ダウンロード結果翻訳が完了したら、「ダウンロード」ボタンをクリックし、希望の出力形式（MP3、MP4、MKV、WAVまたはOGG）を選択して、結果のファイルをダウンロードします。
