BiliNote：从视频自动生成Markdown笔记的AI工具

综合介绍

BiliNote 是一款开源的 AI 视频笔记工具，支持从哔哩哔哩和 YouTube 视频链接中提取内容，自动生成结构清晰的 Markdown 格式笔记。它利用本地音频转写和多种大模型（如 OpenAI、DeepSeek、Qwen）进行内容总结，支持插入视频截图和时间戳跳转链接。项目托管在 GitHub，采用 MIT 许可证，提供 Docker 部署和 Windows 打包版，适合学生、创作者和研究人员整理学习或工作资料。官网在线体验部署在 Cloudflare Pages，可能因网络原因访问较慢。

功能列表

• 从哔哩哔哩和 YouTube 视频链接自动提取内容，生成 Markdown 笔记。
• 使用 Fast-Whisper 模型进行本地音频转写，支持隐私保护。
• 支持 OpenAI、DeepSeek、Qwen 等大模型总结视频核心内容。
• 可选插入视频关键帧截图，增强笔记视觉效果。
• 生成带时间戳的笔记，支持跳转到原视频对应时间点。
• 提供任务记录功能，可回看历史笔记生成记录。
• 支持 Docker 一键部署，简化本地或云端安装。
• 提供 Windows 打包版（exe 文件），无需复杂配置即可使用。
• 计划支持抖音、快手等更多视频平台。

使用帮助

安装与部署

BiliNote 提供三种使用方式：手动部署、Docker 部署和 Windows 打包版。以下是详细步骤：

手动部署

1. 克隆项目代码
   运行以下命令获取源代码：

   git clone https://github.com/JefferyHcool/BiliNote.git
   cd BiliNote
   mv .env.example .env
   

2. 安装 FFmpeg
   BiliNote 依赖 FFmpeg 进行音频处理，必须安装：
   • Mac：运行 brew install ffmpeg
   • Ubuntu/Debian：运行 sudo apt install ffmpeg
   • Windows：从 FFmpeg 官网 下载并安装，确保 FFmpeg 可执行文件路径添加到系统环境变量 PATH。
3. 配置后端
   进入后端目录，安装依赖并启动服务：

   cd backend
   pip install -r requirements.txt
   python main.py
   

   编辑 .env 文件，配置 API 密钥和端口，例如：

   API_BASE_URL=http://localhost:8000
   OUT_DIR=note_results
   IMAGE_BASE_URL=/static/screenshots
   MODEL_PROVIDER=openai
   OPENAI_API_KEY=sk-xxxxxx
   DEEP_SEEK_API_KEY=xxx
   QWEN_API_KEY=xxx
   

4. 配置前端
   进入前端目录，安装依赖并启动服务：

   cd BiliNote_frontend
   pnpm install
   pnpm dev
   

   访问 http://localhost:5173 查看前端界面。

5. 优化音频转写（可选）
   若使用 NVIDIA GPU，可启用 Fast-Whisper 的 CUDA 加速版本，参考 Fast-Whisper 项目 配置。

Docker 部署

1. 确保安装 Docker 和 Docker Compose
   参考 Docker 官网 安装。
2. 克隆并配置项目

   git clone https://github.com/JefferyHcool/BiliNote.git
   cd BiliNote
   mv .env.example .env
   

3. 启动服务
   运行以下命令构建并启动容器：

   docker compose up --build
   

   默认端口为前端 http://localhost:${FRONTEND_PORT} 和后端 http://localhost:${BACKEND_PORT}，可在 .env 文件中自定义。

Windows 打包版

1. 下载 exe 文件
   访问 GitHub Release 页面，下载 Windows 打包版（exe 文件）。
2. 运行程序
   双击 exe 文件启动，无需手动安装 FFmpeg 或配置环境变量。首次运行需输入 API 密钥。
3. 配置 API 密钥
   在程序界面输入 OpenAI、DeepSeek 或 Qwen 的 API 密钥，保存后即可使用。

使用步骤

1. 访问 BiliNote
   • 本地部署：打开浏览器，访问 http://localhost:5173。
   • 在线体验：访问 https://www.bilinote.app（可能因 Cloudflare Pages 加载较慢）。
   • Windows 打包版：双击 exe 文件启动程序。
2. 输入视频链接
   在界面输入公开的哔哩哔哩或 YouTube 视频链接，例如 https://www.bilibili.com/video/xxx。点击“提交”开始处理。
3. 配置生成选项
   • AI 模型：选择 OpenAI、DeepSeek 或 Qwen 进行内容总结。
   • 截图插入：勾选是否自动插入视频截图。
   • 跳转链接：选择是否生成带时间戳的跳转链接。
   • 笔记风格：选择学术风、口语风或重点提取模式（部分风格需未来更新支持）。
4. 生成笔记
   点击“生成”后，BiliNote 会下载视频音频，使用 Fast-Whisper 转写为文本，并通过选定大模型生成 Markdown 笔记。生成时间取决于视频长度和硬件性能。
5. 查看和导出笔记
   • 笔记以 Markdown 格式显示，包含标题、段落、时间戳和截图（若启用）。
   • 点击时间戳可跳转到原视频对应时间点。
   • 支持导出为 Markdown 文件，未来计划支持 PDF、Word 和 Notion 格式。
   • 历史笔记可在“任务记录”页面查看，支持回看和编辑。

特色功能操作

• 本地音频转写：Fast-Whisper 模型在本地运行，保护数据隐私。支持 CUDA 加速，提升转写速度。
• 多模型支持：可切换 OpenAI、DeepSeek 或 Qwen，适配不同语言和场景（例如，Qwen 更适合中文视频）。
• 截图插入：自动截取视频关键帧，插入笔记对应位置，增强可读性。
• 任务历史：每次生成的任务自动保存，方便后续查阅或修改。
• Windows 打包版：为非技术用户提供开箱即用的体验，简化安装流程。

注意事项

• 视频链接需公开可访问，私有视频可能无法处理。
• 内容总结功能需配置有效的 API 密钥（OpenAI、DeepSeek 或 Qwen）。
• FFmpeg 必须正确安装（Windows 打包版除外）。
• 在线体验版可能因 Cloudflare Pages 限制加载缓慢，建议本地部署或使用 Windows 打包版。
• 确保网络稳定，避免音频下载或 API 调用失败。

应用场景

1. 学生整理网课笔记
   学生可将哔哩哔哩或 YouTube 网课视频转为 Markdown 笔记，提取重点内容和时间戳，方便复习和定位知识点。
2. 内容创作者整理素材
   创作者可提取视频脚本或关键信息，生成带截图的笔记，用于内容策划或文案撰写。
3. 企业培训内容归档
   企业可将培训视频转为结构化笔记，方便员工复习或存档，提升学习效率。
4. 研究人员整理学术讲座
   研究人员可将学术会议视频转为笔记，提取核心观点和数据，构建知识库。
5. 个人知识管理
   用户可将兴趣视频（如教程、播客）转为笔记，保存到个人知识库，随时查阅。

QA

1. BiliNote 支持哪些视频平台？
   当前支持哔哩哔哩和 YouTube，未来计划支持抖音、快手等平台。
2. Windows 打包版与本地部署有何不同？
   Windows 打包版无需手动安装 FFmpeg 或配置环境，适合非技术用户。本地部署更灵活，支持自定义配置和 GPU 加速。
3. 如何提高音频转写速度？
   使用 NVIDIA GPU 设备并启用 Fast-Whisper 的 CUDA 加速版本，参考 Fast-Whisper 项目。
4. 是否必须使用付费 API 密钥？
   内容总结功能需 OpenAI、DeepSeek 或 Qwen 的 API 密钥（可能涉及费用）。音频转写可在本地免费运行。
5. 在线体验版为何加载缓慢？
   在线版部署在 Cloudflare Pages，受网络和服务器限制影响。建议使用本地部署或 Windows 打包版。