BiliNote: ИИ-инструмент, который автоматически генерирует заметки в формате Markdown из видео

Последние ресурсы по искусственному интеллектуОпубликовано 4 месяца назад Круг обмена ИИ

9.7K 00

Общее введение

BiliNote - это инструмент для создания видеозаметок с открытым исходным кодом, поддерживающий извлечение контента из ссылок на видео на BiliBili и YouTube для автоматического создания четко структурированных заметок в формате Markdown. Он использует локальную транскрипцию аудио и различные большие модели (такие как OpenAI, DeepSeek, Qwen) для обобщения контента, поддерживает вставку скриншотов видео и ссылки на переходы по временным меткам. Проект размещен на GitHub под лицензией MIT и доступен в виде развертывания Docker и пакета Windows для студентов, создателей и исследователей, которые могут организовывать материалы для учебы или работы. Официальный онлайн-ресурс размещен на Cloudflare Pages, доступ к которому может быть медленным из-за условий сети.

Список функций

Автоматическое извлечение содержимого из ссылок на видео Beep и YouTube для создания заметок в формате Markdown.
Нативная транскрипция аудио с использованием модели Fast-Whisper с поддержкой конфиденциальности.
Поддержка OpenAI, DeepSeek, Qwen и других больших моделей для обобщения основного содержания видео.
Дополнительная вставка скриншотов с ключевыми кадрами видео для улучшения визуализации заметок.
Создавайте заметки с временными метками и поддержкой перехода к соответствующему моменту времени исходного видео.
Функция ведения журнала задач позволяет просматривать историю заметок для создания записей.
Поддержка развертывания Docker одним щелчком мыши для упрощения локальной или облачной установки.
Упакованная версия (exe-файл) доступна для Windows и не требует сложной настройки для использования.
Планируется поддержка других видеоплатформ, таких как Jitterbug и Shutterbug.

Использование помощи

Установка и развертывание

BiliNote предлагает три способа использования: ручное развертывание, развертывание с помощью Docker и версия с пакетом для Windows. Ниже приведены подробные шаги:

Ручное развертывание

Клонирование кода проекта
Выполните следующую команду, чтобы получить исходный код:
```
git clone https://github.com/JefferyHcool/BiliNote.git
cd BiliNote
mv .env.example .env
```
Установите FFmpeg
Для обработки звука BiliNote использует FFmpeg, который должен быть установлен:
- Мак: Беги brew install ffmpeg
- Ubuntu/Debian: Беги sudo apt install ffmpeg
- Windows (компьютер): Скачайте и установите FFmpeg с официального сайта FFmpeg и убедитесь, что путь к исполняемому файлу FFmpeg добавлен в системную переменную окружения PATH.
Настройка внутреннего интерфейса
Перейдите в каталог бэкенда, установите зависимости и запустите службу:
```
cd backend
pip install -r requirements.txt
python main.py
```
компилятор .env файл для настройки ключа и порта API, например:
```
API_BASE_URL=http://localhost:8000
OUT_DIR=note_results
IMAGE_BASE_URL=/static/screenshots
MODEL_PROVIDER=openai
OPENAI_API_KEY=sk-xxxxxx
DEEP_SEEK_API_KEY=xxx
QWEN_API_KEY=xxx
```
Настройка передней панели
Перейдите в каталог front-end, установите зависимости и запустите службу:
```
cd BiliNote_frontend
pnpm install
pnpm dev
```
интервью http://localhost:5173 Просмотрите внешний интерфейс.
Оптимизированная транскрипция аудио (опционально)
Если вы используете графический процессор NVIDIA, вы можете включить ускоренную версию Fast-Whisper для CUDA, см. Проект Fast-Whisper Конфигурация.

Развертывание Docker

Убедитесь, что Docker и Docker Compose установлены.
Для установки обратитесь к сайту Docker.

Клонирование и настройка проекта

git clone https://github.com/JefferyHcool/BiliNote.git
cd BiliNote
mv .env.example .env

Начальные услуги
Выполните следующую команду, чтобы собрать и запустить контейнер:
```
docker compose up --build
```
По умолчанию используется порт передней панели. http://localhost:${FRONTEND_PORT} и внутренняя часть http://localhost:${BACKEND_PORT}можно найти в .env настраивается в файле.

Упакованная версия Windows

Скачать exe-файл
Посетите страницу выпуска на GitHub, чтобы загрузить пакет для Windows (exe-файл).
программа бега
Дважды щелкните по exe-файлу для запуска, не нужно устанавливать FFmpeg или настраивать переменные окружения вручную. При первом запуске необходимо ввести ключ API.
Настройка ключей API
Введите API-ключ для OpenAI, DeepSeek или Qwen в интерфейсе программы, сохраните его и используйте.

Этапы использования

Посетите BiliNote
- Локальное развертывание: откройте браузер и посетите http://localhost:5173.
- Опыт работы в режиме онлайн: посетите https://www.bilinote.app(возможно, из-за медленной загрузки страниц Cloudflare).
- Упакованная версия для Windows: дважды щелкните на exe-файле, чтобы запустить программу.
Введите ссылку на видео
Введите в интерфейс ссылку на общедоступное видео с Bleep или YouTube, например. https://www.bilibili.com/video/xxxНажмите "Отправить", чтобы начать процесс. Нажмите "Отправить", чтобы начать обработку.
Параметры генерации конфигурации
- Модель искусственного интеллекта: Выберите OpenAI, DeepSeek или Qwen для обобщения контента.
- Вставка скриншотов: Отметьте, нужно ли автоматически вставлять скриншоты видео.
- ссылка для перехода: Выберите, нужно ли генерировать ссылку перехода с меткой времени.
- стиль ведения записей: Выберите академический стиль, разговорный стиль или режим целенаправленного извлечения информации (поддержка некоторых стилей зависит от будущих обновлений).
Создавайте заметки
После нажатия кнопки "Сгенерировать" BiliNote загружает видеозапись, транскрибирует ее в текст с помощью Fast-Whisper и создает заметки в формате Markdown с использованием выбранной макромодели. Время генерации зависит от длины видео и производительности оборудования.
Просмотр и экспорт заметок
- Заметки отображаются в формате Markdown с заголовками, абзацами, временными метками и скриншотами (если они включены).
- Нажмите на временную метку, чтобы перейти к соответствующему моменту времени исходного видео.
- Поддержка экспорта в файлы Markdown, а в будущем планируется поддержка PDF, Word и Понятие Формат.
- Исторические заметки можно просмотреть на экране "История задач" с поддержкой просмотра и редактирования.

Функциональное управление

Родная транскрипция аудиоМодели Fast-Whisper запускаются локально для защиты конфиденциальности данных. Поддержка ускорения CUDA для более быстрой транскрипции.
Поддержка нескольких моделей: Переключение между OpenAI, DeepSeek или Qwen для разных языков и сценариев (например, Qwen лучше подходит для китайского видео).
Вставка скриншотов: Автоматически перехватывает ключевые кадры видео и вставляет их в соответствующие позиции заметок для повышения удобочитаемости.
История миссии: Каждое созданное задание автоматически сохраняется для последующего просмотра или изменения.
Упакованная версия Windows: Обеспечьте возможность использования "из коробки" для нетехнических пользователей и упростите процесс установки.

предостережение

Ссылки на видео должны быть общедоступными, частные видео могут не обрабатываться.
Функция обобщения контента должна быть настроена с использованием действительного ключа API (OpenAI, DeepSeek или Qwen).
FFmpeg должен быть правильно установлен (за исключением пакетов для Windows).
Онлайн-версия может загружаться медленно из-за ограничений Cloudflare Pages, поэтому мы рекомендуем развертывать ее локально или использовать версию для Windows.
Обеспечьте стабильность сети, чтобы избежать сбоев при загрузке аудио или вызове API.

сценарий применения

Студенты организуют свои заметки для онлайн-занятий
Студенты могут делать заметки в формате Markdown из видеороликов Beep или YouTube, извлекая ключевые моменты и временные метки для удобства пересмотра и ориентации.
Создатели контента собирают материал
Создатели могут извлекать сценарии видео или ключевую информацию, чтобы создавать заметки со скриншотами для создания контента или копирайтинга.
Архивирование материалов корпоративного обучения
Предприятия могут превращать учебные видео в структурированные заметки, которые сотрудники могут просматривать или архивировать, что повышает эффективность обучения.
Исследователи собирают академические лекции
Исследователи могут превращать видеозаписи научных конференций в заметки, извлекать основные идеи и данные и создавать базу знаний.
Управление персональными знаниями
Пользователи могут превращать интересующие их видео (например, учебники, подкасты) в заметки и сохранять их в своей личной базе знаний для доступа в любое время.

QA

Какие видеоплатформы поддерживает BiliNote?
В настоящее время он поддерживает Beili и YouTube, а в будущем планирует поддерживать Jieyin и Qunjie.
В чем разница между упакованной версией Windows и локальной установкой?
Упакованная версия для Windows избавляет нетехнических пользователей от необходимости вручную устанавливать FFmpeg или настраивать среду. Локальное развертывание более гибкое, с поддержкой пользовательских конфигураций и GPU-ускорения.
Как увеличить скорость транскрибирования аудио?
Для версии с ускорением CUDA, использующей устройство NVIDIA GPU с включенным Fast-Whisper, обратитесь к проекту Fast-Whisper.
Нужно ли мне использовать платный ключ API?
Для работы функции обобщения контента требуется API-ключ для OpenAI, DeepSeek или Qwen (может потребоваться оплата). Транскрипция аудио может быть выполнена локально бесплатно.
Почему онлайн-версия опыта загружается медленно?
Онлайн-версия развернута на Cloudflare Pages и подвержена ограничениям сети и сервера. Рекомендуется использовать локальное развертывание или пакетные версии для Windows.