Видеоанализатор: анализирует видеоконтент и создает подробные описания

Общее введение

Video Analyzer - это комплексный инструмент для анализа видео, сочетающий в себе компьютерное зрение, транскрипцию аудио и обработку естественного языка для создания подробных описаний видеоконтента. Инструмент помогает пользователям лучше понять и проанализировать видеоконтент, извлекая из него ключевые кадры, транскрибируя аудиоконтент и создавая описания на естественном языке. Инструмент видеоаналитики может работать полностью локально, без использования облачных сервисов или API-ключей, или же использовать любой API-совместимый сервис OpenAI для повышения скорости и масштаба.

Список функций

• Извлечение видеокадров: Автоматическое распознавание и извлечение ключевых кадров из видео.
• транскрипция аудио: Транскрипция аудиоконтента с использованием модели Whisper.
• описание на естественном языке: Преобразование извлеченных кадров и транскрибированного аудиоконтента в описания на естественном языке.
• Поддержка нескольких моделей: Поддержка анализа с использованием различных крупномасштабных языковых моделей (например, модели Ollama Vision).
• результат вывода: Создайте JSON-файл с результатами анализа для дальнейшего использования или просмотра.

Использование помощи

Процесс установки

Чтобы использовать инструмент для анализа видео, сначала нужно установить некоторые необходимые программы и библиотеки:

1. склад клонов::
   • Используйте Git для клонирования репозитория проекта на GitHub:

     git clone https://github.com/byjlw/video-analyzer.git
     cd video-analyzer
     

2. Создание виртуальной среды::
   • Чтобы избежать конфликтов сред, рекомендуется создать новую виртуальную среду:

     python3 -m venv .venv
     source .venv/bin/activate  # 在Windows上使用 .venv\Scripts\activate
     

3. Установка зависимостей::
   • Установите все пакеты Python, необходимые для проекта:

     pip install .
     

   • Если же вы хотите установить его в режиме разработки, то можете использовать:

     pip install -e .
     

4. Настройка FFmpeg::
   • Убедитесь, что в вашей системе установлен FFmpeg для обработки видео и звука.

Использование инструментов для анализа видеозаписей

1. Оперативный анализ::
   • Самый простой способ использовать его - указать видеофайл напрямую:

     video-analyzer path/to/video.mp4
     

   • Вы можете передать больше параметров, чтобы настроить процесс анализа:

     video-analyzer video.mp4 --config custom_config.json --output ./custom_output --frames-per-minute 15 --duration 60
     

   • Описание параметра:
     • --config: Указывает путь к файлу конфигурации.
     • --output: Установка пути вывода.
     • --frames-per-minute: Установите количество кадров, извлекаемых в минуту.
     • --duration: Ограничение длины анализируемого видео в секундах.
2. результат::
   • После завершения анализа инструмент генерируетanalysis.jsonфайл, содержащий результаты анализа каждого ключевого кадра и текстовое описание транскрипции звука.
3. Расширенная конфигурация::
   • С помощью пользовательских профилей можно задать более подробные параметры, например выбрать конкретный размер модели Whisper (крошечный, базовый, маленький, средний, большой), установить порог обнаружения языка или решить, сохранять ли извлеченные изображения кадров или нет.

Функции Поток операций

• анализ кадров::
  • Инструмент извлекает ключевые кадры из видео с заданной скоростью, а затем проводит анализ каждого кадра с помощью компьютерного зрения, записывая его временную метку и результаты анализа.
• обработка звука::
  • Аудио отделяется от видео и транскрибируется с помощью модели Whisper. Транскрипция объединяется с информацией из видеокадров для создания более полного описания видео.
• Создайте описание::
  • Инструмент объединяет все проанализированные данные в целостное описание видео, используя ранее извлеченные кадры и аудиозаписи. В этой части функционала используются методы обработки естественного языка, чтобы сделать описание более читабельным.

Использование этого инструмента помогает пользователям быстро понять содержание видео, особенно в сценариях, когда обрабатывается большое количество видео или когда необходимо автоматически сгенерировать резюме видео, что значительно повышает эффективность.