Director: 自然言語記述によるビデオ検索、編集、生成ワークフローのためのインテリジェントビデオエージェントフレームワーク

はじめに

Directorは、インテリジェントなビデオエージェントを構築することで、ビデオインタラクションとワークフローを簡素化し、最適化するために設計されたオープンソースのフレームワークです。このフレームワークは、VideoDBのVideo-as-Dataインフラストラクチャをベースにしており、検索、編集、コンパイル、生成などの複雑な動画タスクを処理し、結果を即座にストリーミングすることができる。ユーザーは、動画のアップロードやSlackへのハイライト送信など、簡単な自然言語コマンドで動画エージェントを操作することができます。directorは、AIを使用してメディアワークフローを合理化し、新たな可能性を引き出したいと考えている開発者、クリエイター、チームのための製品です。

機能一覧

• ビデオ要約：数秒でビデオ要約を作成。
• ビデオ生成：スクリプトからナレーション付きのフルムービーを生成します。
• ビデオ検索：メディアライブラリ内の特定の瞬間を検索し、インデックスを作成します。
• ビデオ編集：コンテンツを簡単に整理、編集。
• オーディオとビデオの編集：オーディオとビデオのダビングと編集が簡単にできます。
• 字幕翻訳：あらゆる言語の字幕を翻訳して追加できます。
• GenAIプロジェクトやAPIとの統合：オンザフライでコンテンツを作成・編集。
• オーバーレイを追加し、サムネイルを生成します。

ヘルプの使用

設置プロセス

1. クローン倉庫

   git clone https://github.com/video-db/Director.git
   cd ディレクター
   

2. インストールスクリプトを実行する：

   ./setup.sh
   

   このスクリプトはNode.jsとPythonをインストールし、フロントエンドとバックエンドの仮想環境をセットアップする。

3. 環境変数を設定する：
   コンパイラ 環境 ファイルに、APIキーやその他の設定オプションを追加する。

使用プロセス

1. アプリケーションを起動する：

   走らせる
   

   • バックエンドサーバー：http://127.0.0.1:8000
   • フロントエンドサーバー：http://127.0.0.1:8080
2. 新しいエージェントを作成する：
   • テンプレートファイルのコピー sample_agent.py まで ディレクター／バックエンド／ディレクター／エージェント／ディレクター と改名した。
   • クラス名、エージェント名、説明を更新する。
   • プロキシロジックの実装、更新 実行() 方法。
   • を使用して出力とステータス更新を処理する。 push_update() 進捗イベントを送信する。
   • 新規エージェントの登録 Director/backend/director/handler.py 新しいプロキシ・クラスを セルフエージェント リスト
3. ドキュメンテーションサービス：
   • ローカルサービスの文書：

     ソース backend/venv/bin/activate
     インストールする
     mkdocs serve -a localhost:9000
     

   • ドキュメントを作る：

     mkdocsビルド
     

使用ガイドライン

1. ビデオ要約ビデオをアップロードした後、自然言語コマンドを使用してビデオの要約を生成します。例えば、"Generate a summary of this video "と入力すると、システムが自動的に処理し、要約を生成する。
2. ビデオ検索検索バーにキーワードを入力すると、ビデオライブラリ内の関連クリップを検索して表示します。
3. ビデオクリップビデオクリップを選択し、編集ツールを使って編集し、目的のビデオクリップを作成します。
4. GenAIプロジェクトやAPIとの統合APIインターフェースを介して他のAIツールを統合することで、ビデオ処理機能を拡張します。
5. オーバーレイの追加とサムネイルの生成ビデオ編集のインターフェイスで、オーバーレイレイヤーの追加やサムネイルの生成を選択すると、システムが自動的に処理します。
6. 音声吹替と字幕翻訳ビデオをアップロードした後、ダビングまたは字幕翻訳機能を選択すると、システムは自動的に対応するダビングまたは字幕を生成します。

詳しい操作手順

• ビデオ・サマリー・ジェネレーション::
  1. ビデオファイルをアップロードする。
  2. コマンド入力ボックスに "Generate Video Summary "と入力する。
  3. システムによる処理後、生成されたビデオ要約が結果エリアに表示されます。
• ビデオ検索::
  1. ビデオ検索ページへ
  2. 検索ボックスにキーワードを入力してください。
  3. システムはビデオライブラリーを検索し、一致するクリップを表示する。
• ビデオクリップ::
  1. 編集したいビデオを選択します。
  2. クリップツールを使って開始時刻と終了時刻を選択する。
  3. Generate Clip "ボタンをクリックすると、クリップが生成され保存されます。
• GenAIプロジェクトやAPIとの統合::
  1. API統合ページに移動します。
  2. 必要なAPIキーと設定を入力します。
  3. システムは自動的に新しい機能を統合し、有効にする。
• オーバーレイの追加とサムネイルの生成::
  1. ビデオ編集ページで、「オーバーレイを追加」または「サムネイルを生成」を選択します。
  2. システムは自動的に変更を処理し、適用する。
• 音声吹替と字幕翻訳::
  1. ビデオファイルをアップロードする。
  2. 音声吹替」または「字幕翻訳」機能を選択します。
  3. システムは自動的にダビングまたは字幕を生成し、適用する。