AIパーソナル・ラーニング
と実践的なガイダンス

VideoReTalking:音声駆動型リップシンクロ・ビデオ編集システム

はじめに

VideoReTalkingは、入力音声に基づいてリップシンクされた顔映像を生成し、異なる感情であっても高品質でリップシンクされた出力映像を生成できる革新的なシステムです。このシステムは、典型的な表情を持つ顔映像の生成、音声によるリップシンクロ、フォトリアリズムを向上させるための顔強調という3つのタスクに分かれています。VideoReTalkingは、この3つのステップを学習ベースのアプローチで処理し、ユーザーの介入なしに順次実行することができます。VideoReTalkingとその音声駆動型リップシンクロ・トーキングヘッド・ビデオ編集への応用については、提供されたリンクからご覧ください。

 


VideoReTalking:音声駆動型リップシンクロ・ビデオ編集システム

 

 

(鮮明でない、ビデオの画質を2回上げる必要がある、中国語へのリップシンクが少し悪い)

 

 

機能一覧

顔動画生成:入力音声をもとに、典型的な表情の顔動画を生成する。
オーディオ・ドリブン・リップシンク:与えられたオーディオに基づいてリップシンクされたビデオを生成します。
フェイシャル・エンハンスメント:アイデンティティを意識したフェイシャル・エンハンスメント・ネットワークと後処理により、合成顔のフォトリアリズムを向上させる。

 

ヘルプの使用

訓練済みモデルをダウンロードし、`./checkpoints`に置く。
python3 inference.py`を実行して、ビデオを素早く推論する。
エクスプレッションは `--exp_img` または `--up_face` という引数を追加することで制御できる。

 

 

オンライン体験アドレス

チーフAIシェアリングサークルこのコンテンツは作者によって非表示にされています。コンテンツを表示するには認証コードを入力してください。
キャプチャ
このサイトWeChat公開番号に注意してください、返信"CAPTCHA、チャレンジ・レスポンス・テストの一種(コンピューティング)"、認証コードを取得します。WeChatで"チーフAIシェアリングサークル「またはルックスAI"またはWeChatは、QRコードの右側をスキャンすると、このサイトWeChatの公開番号に注意を払うことができます。

AIイージー・ラーニング

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る
無断転載を禁じます:チーフAIシェアリングサークル " VideoReTalking:音声駆動型リップシンクロ・ビデオ編集システム

チーフAIシェアリングサークル

チーフAIシェアリングサークルは、AI学習に焦点を当て、包括的なAI学習コンテンツ、AIツール、実践指導を提供しています。私たちの目標は、高品質のコンテンツと実践的な経験の共有を通じて、ユーザーがAI技術を習得し、AIの無限の可能性を一緒に探求することです。AI初心者でも上級者でも、知識を得てスキルを向上させ、イノベーションを実現するための理想的な場所です。

お問い合わせ
ja日本語