Analyseur vidéo : analyse le contenu des vidéos et génère des descriptions détaillées

Introduction générale

Video Analyzer est un outil d'analyse vidéo complet qui combine des techniques de vision par ordinateur, de transcription audio et de traitement du langage naturel pour générer des descriptions détaillées du contenu vidéo. L'outil aide les utilisateurs à mieux comprendre et analyser le contenu vidéo en extrayant les images clés de la vidéo, en transcrivant le contenu audio et en générant des descriptions en langage naturel. L'outil d'analyse vidéo peut fonctionner entièrement en local, sans avoir besoin de services en nuage ou de clés API, ou il peut exploiter n'importe quel service compatible avec l'API OpenAI pour gagner en rapidité et en ampleur.

Liste des fonctions

• Extraction d'images vidéoLe logiciel : reconnaît et extrait automatiquement les images clés des vidéos.
• transcription audio: Transcription de contenu audio à l'aide du modèle Whisper.
• description en langage naturel: Convertir les images extraites et le contenu audio transcrit en descriptions en langage naturel.
• Prise en charge de plusieurs modèlesLes analyses utilisant différents modèles linguistiques à grande échelle (par exemple, le modèle Ollama Vision) sont prises en charge.
• résultat de la sortieGénérer un fichier JSON contenant les résultats de l'analyse en vue d'une utilisation ou d'un examen ultérieur.

Utiliser l'aide

Processus d'installation

Pour utiliser l'outil d'analyse vidéo, vous devez d'abord installer certains logiciels et bibliothèques nécessaires :

1. entrepôt de clones: :
   • Utilisez Git pour cloner un dépôt de projet sur GitHub :

     git clone https://github.com/byjlw/video-analyzer.git
     cd video-analyzer
     

2. Créer un environnement virtuel: :
   • Pour éviter les conflits d'environnement, il est recommandé de créer un nouvel environnement virtuel :

     python3 -m venv .venv
     source .venv/bin/activate  # 在Windows上使用 .venv\Scripts\activate
     

3. Installation des dépendances: :
   • Installer tous les paquets Python nécessaires au projet :

     pip install .
     

   • Ou si vous souhaitez l'installer en mode développement, vous pouvez utiliser :

     pip install -e .
     

4. Configuration de FFmpeg: :
   • Assurez-vous que FFmpeg est installé sur votre système pour le traitement vidéo et audio.

Utilisation d'outils d'analyse vidéo

1. Analyse opérationnelle: :
   • La façon la plus simple de l'utiliser est de spécifier directement le fichier vidéo :

     video-analyzer path/to/video.mp4
     

   • Vous pouvez passer d'autres paramètres pour personnaliser le processus d'analyse :

     video-analyzer video.mp4 --config custom_config.json --output ./custom_output --frames-per-minute 15 --duration 60
     

   • Paramètre Description :
     • --config: Spécifie le chemin d'accès au fichier de configuration.
     • --output: Définir le chemin de sortie.
     • --frames-per-minute: Définit le nombre d'images extraites par minute.
     • --durationLimite la durée de la vidéo analysée en secondes.
2. résultat: :
   • Une fois l'analyse terminée, l'outil génère unanalysis.jsonqui contient les résultats de l'analyse de chaque image clé et une description textuelle de la transcription audio.
3. Configuration avancée: :
   • Vous pouvez utiliser des profils personnalisés pour définir des paramètres plus détaillés, tels que le choix d'une taille de modèle de Whisper spécifique (minuscule, base, petit, moyen, grand), la définition du seuil de détection de la langue ou la décision de conserver ou non les images extraites.

Fonction Opération Déroulement

• analyse du cadre: :
  • L'outil extrait des images clés de la vidéo à un rythme déterminé, puis effectue une analyse de vision par ordinateur de chaque image, en enregistrant son horodatage et les résultats de l'analyse.
• traitement audio: :
  • L'audio est séparé de la vidéo et transcrit à l'aide du modèle Whisper. La transcription est combinée avec les informations des images vidéo pour générer une description plus complète de la vidéo.
• Générer une description: :
  • L'outil combine toutes les données analysées en une description cohérente de la vidéo, en utilisant les images et les transcriptions audio précédemment extraites. Cette partie de la fonctionnalité utilise des techniques de traitement du langage naturel pour rendre la description plus lisible.

L'utilisation de cet outil permet aux utilisateurs de comprendre rapidement le contenu de la vidéo, en particulier dans les scénarios où un grand nombre de vidéos sont traitées ou lorsqu'un résumé de la vidéo doit être généré automatiquement, ce qui améliore grandement l'efficacité.