Analizador de vídeo: analiza el contenido de los vídeos y genera descripciones detalladas.

Introducción general

Video Analyzer es una completa herramienta de análisis de vídeo que combina técnicas de visión por ordenador, transcripción de audio y procesamiento del lenguaje natural para generar descripciones detalladas del contenido del vídeo. La herramienta ayuda a los usuarios a comprender y analizar mejor el contenido de vídeo extrayendo fotogramas clave del vídeo, transcribiendo el contenido de audio y generando descripciones en lenguaje natural. La herramienta de análisis de vídeo puede ejecutarse de forma totalmente local, sin necesidad de servicios en la nube ni claves API, o puede aprovechar cualquier servicio compatible con la API OpenAI para aumentar la velocidad y la escala.

Lista de funciones

• Extracción de fotogramas de vídeo: Reconoce y extrae automáticamente los fotogramas clave de los vídeos.
• transcripción de audioTranscripción de contenidos de audio mediante el modelo Whisper.
• descripción en lenguaje natural: Convierte los fotogramas extraídos y el contenido de audio transcrito en descripciones en lenguaje natural.
• Compatibilidad con varios modelosSoporte para análisis utilizando diferentes modelos lingüísticos a gran escala (por ejemplo, el modelo Ollama Vision).
• resultado de salidaGenerar un archivo JSON con los resultados del análisis para su posterior uso o revisión.

Utilizar la ayuda

Proceso de instalación

Para utilizar la herramienta de análisis de vídeo, primero hay que instalar algunos programas y bibliotecas necesarios:

1. almacén de clones::
   • Utiliza Git para clonar un repositorio de proyecto en GitHub:

     git clone https://github.com/byjlw/video-analyzer.git
     cd video-analyzer
     

2. Creación de un entorno virtual::
   • Para evitar conflictos de entorno, se recomienda crear un nuevo entorno virtual:

     python3 -m venv .venv
     source .venv/bin/activate  # 在Windows上使用 .venv\Scripts\activate
     

3. Instalación de dependencias::
   • Instale todos los paquetes de Python necesarios para el proyecto:

     pip install .
     

   • O si desea instalarlo en modo de desarrollo, puede utilizar:

     pip install -e .
     

4. Configuración de FFmpeg::
   • Asegúrate de tener FFmpeg instalado en tu sistema para el procesamiento de vídeo y audio.

Utilización de herramientas de análisis de vídeo

1. Análisis operativo::
   • La forma más básica de utilizarlo es especificar directamente el archivo de vídeo:

     video-analyzer path/to/video.mp4
     

   • Puede pasar más parámetros para personalizar el proceso de análisis:

     video-analyzer video.mp4 --config custom_config.json --output ./custom_output --frames-per-minute 15 --duration 60
     

   • Descripción de los parámetros:
     • --configEspecifica la ruta del archivo de configuración.
     • --output: Establece la ruta de salida.
     • --frames-per-minute: Establece el número de fotogramas extraídos por minuto.
     • --durationLimita la duración del vídeo analizado en segundos.
2. resultado::
   • Una vez finalizado el análisis, la herramienta genera unanalysis.jsonque contiene los resultados del análisis de cada fotograma clave y una descripción textual de la transcripción del audio.
3. Configuración avanzada::
   • Puede utilizar perfiles personalizados para establecer parámetros más detallados, como elegir un tamaño de modelo Whisper específico (diminuto, base, pequeño, mediano, grande), establecer el umbral para la detección de idiomas o decidir si desea conservar o no las imágenes de los fotogramas extraídos.

Función Flujo de operaciones

• análisis del marco::
  • La herramienta extrae fotogramas clave del vídeo a una velocidad determinada y, a continuación, realiza un análisis de visión por ordenador de cada fotograma, registrando su marca de tiempo y los resultados del análisis.
• procesamiento de audio::
  • El audio se separa del vídeo y se transcribe mediante el modelo Whisper. La transcripción se combina con la información de los fotogramas de vídeo para generar una descripción más completa del vídeo.
• Generar una descripción::
  • La herramienta combina todos los datos analizados en una descripción coherente del vídeo, utilizando fotogramas extraídos previamente y transcripciones de audio. Esta parte de la funcionalidad utiliza técnicas de procesamiento del lenguaje natural para hacer la descripción más legible.

El uso de esta herramienta ayuda a los usuarios a comprender rápidamente el contenido del vídeo, especialmente en situaciones en las que se procesa un gran número de vídeos o en las que es necesario generar automáticamente un resumen del vídeo, lo que mejora enormemente la eficacia.