Linly-Dubbing：インテリジェントビデオ多言語AI吹替/翻訳ツール

はじめに

Linly-Dubbingはインテリジェントな多言語AIダビング・翻訳ツールで、高度なAI技術を統合することで、高品質な多言語動画ダビング・字幕翻訳サービスをユーザーに提供するように設計されています。このツールは、国際教育、グローバルコンテンツローカリゼーションなどのシナリオに特に適しており、チームが高品質なコンテンツを世界中に広めるのに役立ちます。

機能一覧

• 多言語サポートグローバリゼーションのニーズに応え、中国語をはじめとする多言語の吹替・字幕翻訳を提供。
• AI音声認識高度なAI技術による音声テキスト変換と話者認識。
• 大規模言語モデリング翻訳最先端の言語モデリング（GPTなど）と組み合わせることで、翻訳は迅速かつ正確に行われ、プロフェッショナリズムと自然さが保証されます。
• AIボイス・クローン最先端のボイスクローン技術により、感情やイントネーションの一貫性を保ちながら、オリジナル映像に極めて近い吹き替え音声を生成します。
• デジタル・ヒューマン・リップシンク技術リップシンク技術により、映像との親和性が高く、臨場感や双方向性を高めることができます。
• 柔軟なアップロードと翻訳ユーザーはビデオをアップロードし、翻訳言語と翻訳基準を選択することができます。
• 定期更新ダビングと翻訳の最前線に立ち続けるために、常に最新モデルを導入しています。

ヘルプの使用

設置プロセス

1. クローン倉庫: まず、Linly-Dubbingリポジトリをローカルマシンにクローンし、サブモジュールを初期化する。

   git clone https://github.com/Kedreamix/Linly-Dubbing.git -深さ 1
   cd Linly-Dubbing
   git submodule update --init --recursive
   

2. 依存関係のインストール新しいPython環境を作成し、必要な依存関係をインストールする。

   conda create -n linly_dubbing python=3.10 -y
   condaでlinly_dubbingをアクティブにする
   cd Linly-Dubbing/
   conda install ffmpeg==7.0.2 -c conda-forge
   python -m pip install --upgrade pip
   pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   pip install -r requirements_module.txt
   

3. 環境変数の設定プロジェクトのルート・ディレクトリに.envファイルを作成し、必要な環境変数を記入する。

   OPENAI_API_KEY=sk-xxx
   モデル名=gpt-4
   HF_TOKEN=your_hugging_face_token
   

4. アプリケーションの実行必要なモデルをダウンロードし、WebUIインターフェイスを起動します。

   bash scripts/download_models.sh
   python webui.py
   

使用プロセス

1. ビデオのアップロードユーザーは、WebUIインターフェイスを介して、ダビングまたは翻訳するビデオファイルをアップロードすることができます。
2. 言語の選択と基準ビデオをアップロードした後、ユーザーは翻訳する言語とダビングの標準を選択することができます。
3. 吹き替えと字幕の作成音声認識、翻訳、ダビング生成、字幕ファイル生成の同期を自動的に行います。
4. ダウンロード結果生成された吹替ビデオと字幕ファイルをダウンロードし、編集して使用することができます。

主な機能

• ビデオの自動ダウンロードyt-dlpツールを使って、様々なフォーマットや解像度のビデオやオーディオをダウンロードできます。
• 声の分離DemucsとUVR5テクノロジーによるボーカルとバッキングトラックの分離。
• AI音声認識WhisperXとFunASRによる正確な音声認識と字幕生成。
• 大規模言語モデリング翻訳OpenAI APIとQwenモデルを組み合わせた高品質の多言語翻訳。
• AI音声合成Edge TTSとCosyVoiceで、自然でスムーズな音声出力を生成します。
• ビデオ加工字幕を追加したり、BGMを挿入したり、音量を調整したり、再生速度を変更したりして、ビデオコンテンツをパーソナライズできます。
• デジタル・ヒューマン・リップシンク技術Linly-Talker技術によるデジタル・ヒューマン・リップ・シンクロにより、映像のプロフェッショナリズムと視聴体験を向上させる。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る