VideoLingo: 動画書き起こし単語レベルタイムライン字幕、動画字幕翻訳、ローカライズ吹き替えオープンソースツール

はじめに

VideoLingoはNetflix質のサブタイトルを発生させるように設計されているワンストップビデオ翻訳および局在化のダビングツールである 堅い機械翻訳および複数行のキャプションを除去し、世界的な知識が言語障壁を渡って共有することができるように良質のナレーションを加えなさい。直感的なStreamlitウェブインターフェースを介して、ユーザーは、ビデオリンクから、埋め込まれた高品質のバイリンガル字幕、さらにはナレーションまで、わずか2クリックでNetflix品質のローカライズビデオを簡単に作成できます。

より統合されたツールだが、テープ起こし作業はこのツールほど詳細ではない：pyvideotrans：動画翻訳ダビングツール

機能一覧

• yt-dlpを使ってYouTubeのリンクから動画をダウンロードする
• WhisperXによる単語レベルのタイムラインキャプション認識
• NLPとGPTを用いた文意に基づく字幕セグメンテーション
• GPT要約抽出用語知識ベース、文脈翻訳
• 三段直訳、反射、イタリア語翻訳、字幕グループに匹敵する細かい翻訳効果
• Netflixの基準に従って1行の長さをチェックし、2行の字幕はありません！
• GPT-SoVITSなどの手法による高品質アライメントダビング
• Streamlitのワンクリック起動、ワンクリック撮影の統合パック

ヘルプの使用

設置プロセス

1. VideoLingoのワンクリック統合パッケージをダウンロードしなさい(約800M)。
2. ファイルを解凍し、ダブルクリックしてフォルダ内の「One-Click-Boot.bat」を実行します。
3. 開いているブラウザーのウィンドウで、サイドバーに必要な設定を行い、ワンクリックでフィルムを取り出す。

機能 操作の流れ

1. ビデオダウンロードStreamlitインターフェイスにYouTubeビデオのリンクを入力し、yt-dlpを使ってビデオをダウンロードする。
2. サブタイトル認識: WhisperXを使って単語レベルのタイムライン字幕を認識し、字幕をビデオコンテンツに正確に合わせることができます。
3. 字幕分割NLPとGPTの技術を使い、文章の意味に応じて字幕を分割することで、Netflixに対応した1行字幕を生成している。
4. レンダリングGPTは用語の知識ベースを要約・抽出し、文脈に応じた翻訳を行うことで、翻訳コンテンツの自然な流れを確保します。
5. アフレコGPT-SoVITS」などの方式を採用し、オリジナル映像との整合性の高いダビング効果を実現。
6. ワンクリックでフィルム出力Streamlit インターフェースですべての設定を行った後、ワンクリックで高品質のバイリンガル字幕と吹き替えを持つビデオを生成します。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る