BiliNote：動画からMarkdownノートを自動生成するAIツール

はじめに

BiliNoteはオープンソースのAIビデオメモツールで、BiliBiliとYouTubeビデオリンクからコンテンツを抽出し、Markdown形式で明確に構造化されたメモを自動的に生成します。コンテンツの要約には、ローカルの音声トランスクリプションと様々なビッグモデル（OpenAI、DeepSeek、Qwenなど）を使用し、ビデオのスクリーンショットやタイムスタンプのジャンプリンクの挿入をサポートしています。このプロジェクトは、MITライセンスの下、GitHub上でホストされており、学生、クリエイター、研究者が学習や仕事のために資料を整理するためのDockerデプロイメントやWindowsパッケージとして利用可能です。公式オンライン体験はCloudflare Pages上に展開されており、ネットワーク状況によりアクセスに時間がかかる場合があります。

機能一覧

• BeepやYouTubeのビデオリンクからコンテンツを自動的に抽出し、Markdownメモを生成します。
• プライバシーをサポートするFast-Whisperモデルを使用したネイティブ音声トランスクリプション。
• OpenAI、DeepSeek、Qwen、その他の大きなモデルをサポートし、ビデオの核となるコンテンツを要約する。
• オプションでビデオキーフレームスクリーンショットを挿入し、ノートの視覚化を強化。
• タイムスタンプ付きのメモを生成し、元のビデオの対応する時点にジャンプすることができます。
• タスクログ機能を提供し、メモの履歴を振り返って記録を作成することができます。
• Dockerのワンクリックデプロイをサポートし、ローカルまたはクラウドへのインストールを簡素化。
• Windows用にはパッケージ版（exeファイル）が用意されており、使用するのに複雑な設定は必要ない。
• JitterbugやShutterbugなど、より多くのビデオプラットフォームをサポートする計画もある。

ヘルプの使用

インストールと展開

BiliNoteには、手動デプロイ、Dockerデプロイ、Windowsパッケージ版の3つの使用方法があります。詳しい手順は以下の通りです：

手動配備

1. プロジェクトコードの複製
   以下のコマンドを実行してソースコードを取得する：

   git clone https://github.com/JefferyHcool/BiliNote.git
   cd BiliNote
   mv .env.example .env
   

2. FFmpegをインストールする
   BiliNoteはオーディオ処理にFFmpegを使用しており、インストールする必要があります：
   • マック走る brew install ffmpeg
   • Ubuntu/デビアン走る sudo apt install ffmpeg
   • ウィンドウズFFmpegの公式サイトからFFmpegをダウンロードしてインストールし、システム環境変数PATHにFFmpeg実行ファイルへのパスが追加されていることを確認する。
3. バックエンドの設定
   バックエンドディレクトリに移動し、依存関係をインストールし、サービスを開始する：

   cd backend
   pip install -r requirements.txt
   python main.py
   

   コンパイラ .env ファイルでAPIキーとポートを設定する：

   API_BASE_URL=http://localhost:8000
   OUT_DIR=note_results
   IMAGE_BASE_URL=/static/screenshots
   MODEL_PROVIDER=openai
   OPENAI_API_KEY=sk-xxxxxx
   DEEP_SEEK_API_KEY=xxx
   QWEN_API_KEY=xxx
   

4. フロントエンドの設定
   フロントエンド・ディレクトリに移動し、依存関係をインストールし、サービスを開始する：

   cd BiliNote_frontend
   pnpm install
   pnpm dev
   

   インタビュー http://localhost:5173 フロントエンドのインターフェイスを見る。

5. 最適化された音声転写（オプション）
   NVIDIA GPU を使用している場合、CUDA アクセラレーションバージョンの Fast-Whisper を有効にすることができます。 ファスト・ウィスパー・プロジェクト コンフィギュレーション。

Dockerのデプロイメント

1. DockerとDocker Composeがインストールされていることを確認する。
   インストール方法については、Docker社のウェブサイトを参照のこと。
2. プロジェクトのクローンと設定

   git clone https://github.com/JefferyHcool/BiliNote.git
   cd BiliNote
   mv .env.example .env
   

3. サービス開始
   以下のコマンドを実行し、コンテナをビルドして起動する：

   docker compose up --build
   

   デフォルトのポートはフロントエンド http://localhost:${FRONTEND_PORT} バックエンド http://localhost:${BACKEND_PORT}以下はその例である。 .env ファイルでカスタマイズする。

Windows パッケージング

1. exeファイルのダウンロード
   GitHubのリリースページから、Windowsパッケージ（exeファイル）をダウンロードしてください。
2. ランニングプログラム
   FFmpegをインストールしたり、環境変数を手動で設定する必要はありません。初回起動時にはAPIキーの入力が必要です。
3. APIキーの設定
   プログラムのインターフェイスにOpenAI、DeepSeek、またはQwenのAPIキーを入力し、保存して使用します。

使用手順

1. ビリノートへ
   • ローカル展開：ブラウザを開き、以下のサイトにアクセスする。 http://localhost:5173.
   • オンライン体験：こちら https://www.bilinote.app(おそらくCloudflare Pagesの読み込みが遅いため）。
   • Windowsパッケージ版：exeファイルをダブルクリックしてプログラムを起動します。
2. ビデオリンクを入力
   公開されているBleepまたはYouTubeビデオへのリンクをインターフェイスに入力する。 https://www.bilibili.com/video/xxxSubmit "をクリックして処理を開始します。送信」をクリックして処理を開始します。
3. コンフィギュレーション生成オプション
   • AIモデルコンテンツの要約には、OpenAI、DeepSeek、Qwenのいずれかを選ぶ。
   • スクリーンショット挿入ビデオのスクリーンショットを自動的に挿入するかどうかをチェックします。
   • ジャンプリンクタイムスタンプ付きのジャンプリンクを生成するかどうかを選択する。
   • ノートスタイルアカデミックスタイル、スポークンスタイル、フォーカス抽出モードから選択できます。
4. メモの作成
   生成」をクリックすると、BiliNoteはビデオ音声をダウンロードし、Fast-Whisperを使用してテキストに書き起こし、選択したマクロモデルを使用してMarkdownノートを生成します。生成時間はビデオの長さとハードウェアの性能に依存します。
5. ノートの表示とエクスポート
   • メモは、見出し、段落、タイムスタンプ、スクリーンショット（有効な場合）を含むMarkdown形式で表示されます。
   • タイムスタンプをクリックすると、元のビデオの対応する時点にジャンプします。
   • Markdownファイルへのエクスポートがサポートされており、将来的にはPDF、Word、Notion形式もサポートする予定です。
   • 履歴ノートはタスク履歴画面で確認でき、閲覧・編集が可能。

注目の機能操作

• ネイティブ・テープ起こしFast-Whisperモデルは、データのプライバシーを保護するためにローカルで実行されます。CUDAアクセラレーションをサポート。
• マルチモデル対応言語やシナリオに応じて、OpenAI、DeepSeek、Qwenのいずれかに切り替えることができます（例えば、中国語の動画にはQwenの方が適しています）。
• スクリーンショット挿入ビデオのキーフレームを自動的にインターセプトし、音符の対応する位置に挿入して可読性を高めます。
• ミッションの歴史生成された各タスクは自動的に保存され、後で見直したり修正したりすることができます。
• Windows パッケージング技術者でないユーザーにもすぐに使える体験を提供し、インストール・プロセスを簡素化します。

ほら

• ビデオリンクは一般に公開されている必要があり、非公開のビデオは処理されない場合があります。
• コンテンツ要約機能は、有効なAPIキー（OpenAI、DeepSeek、またはQwen）で設定する必要があります。
• FFmpegが正しくインストールされていること（Windowsパッケージを除く）。
• Cloudflare Pagesの制限により、オンライン体験の読み込みが遅くなる場合がありますので、ローカルで展開するか、Windowsパッケージ版を使用することをお勧めします。
• オーディオのダウンロードやAPIコールの失敗を避けるため、ネットワークの安定性を確保する。

アプリケーションシナリオ

1. オンライン授業でノートを整理する
   学生は、BeepやYouTubeのビデオからMarkdownメモを取り、キーポイントやタイムスタンプを抽出して、復習やオリエンテーションを簡単に行うことができます。
2. コンテンツ制作者が素材を照合
   クリエイターは、動画のスクリプトや重要な情報を抽出して、コンテンツのキュレーションやコピーライティングのためのスクリーンショット付きのメモを作成することができます。
3. 企業研修コンテンツのアーカイブ化
   企業は、トレーニングビデオを構造化されたメモに変換し、従業員がレビューしたりアーカイブしたりできるようにすることで、学習効率を向上させることができる。
4. 研究者が学術講演を照合
   研究者は学会ビデオをノートに変え、核となるアイデアやデータを抽出し、知識ベースを構築することができる。
5. 個人の知識管理
   ユーザーは、興味のあるビデオ（チュートリアルやポッドキャストなど）をメモにしたり、個人のナレッジベースに保存していつでもアクセスできるようにすることができます。

品質保証

1. BiliNoteがサポートしているビデオプラットフォームは何ですか？
   現在、BeiliとYouTubeをサポートしており、将来的にはJieyinとQunjieをサポートする予定である。
2. Windowsのパッケージ版とローカルデプロイの違いは何ですか？
   Windowsパッケージ版は、FFmpegを手動でインストールしたり、技術者でないユーザーのために環境を設定する必要がありません。カスタム設定やGPUアクセラレーションをサポートすることで、ローカル展開はより柔軟になります。
3. 音声テープ起こしの速度を上げるにはどうすればよいですか？
   Fast-Whisperを有効にしたNVIDIA GPUデバイスを使用したCUDAアクセラレーション・バージョンについては、Fast-Whisperプロジェクトを参照してください。
4. 有料のAPIキーを使用する必要がありますか？
   コンテンツの要約機能には、OpenAI、DeepSeek、またはQwenのAPIキーが必要です（費用がかかる場合があります）。音声書き起こしはローカルで無料で実行できる。
5. オンライン体験版の読み込みが遅いのはなぜですか？
   オンライン版はCloudflare Pages上に展開され、ネットワークやサーバーの制限を受けます。ローカル展開またはWindowsパッケージ版をお勧めします。