Director : cadre d'agent vidéo intelligent pour la recherche, l'édition et la génération de flux de travail vidéo avec des descriptions en langage naturel

Introduction générale

Director est un cadre open source conçu pour simplifier et optimiser les interactions et les flux de travail vidéo en construisant des agents vidéo intelligents. Le framework est basé sur l'infrastructure Video-as-Data de VideoDB et est capable de gérer des tâches vidéo complexes telles que la recherche, l'édition, la compilation et la génération, et de diffuser les résultats instantanément. Les utilisateurs peuvent manipuler l'agent vidéo à l'aide de simples commandes en langage naturel, telles que le téléchargement de vidéos et l'envoi de points forts sur Slack. director s'adresse aux développeurs, aux créateurs et aux équipes qui souhaitent utiliser l'IA pour rationaliser les flux de travail des médias et ouvrir de nouvelles possibilités.

Liste des fonctions

• Résumé vidéo : générez des résumés vidéo en quelques secondes.
• Génération de vidéos : générer des films complets avec narration à partir de scripts.
• Recherche vidéo : rechercher et indexer des moments précis dans la médiathèque.
• Montage vidéo : organisez et montez facilement le contenu.
• Montage audio et vidéo : doublage et montage audio et vidéo faciles.
• Traduction des sous-titres : traduisez et ajoutez des sous-titres dans n'importe quelle langue.
• Intégration avec les projets et les API de GenAI : créer et modifier du contenu à la volée.
• Ajoutez des superpositions et générez des vignettes.

Utiliser l'aide

Processus d'installation

1. Entrepôt de clonage :

   git clone https://github.com/video-db/Director.git
   cd Director
   

2. Exécutez le script d'installation :

   ./setup.sh
   

   Ce script installera Node.js et Python et mettra en place des environnements virtuels pour le front-end et le back-end.

3. Configurer les variables d'environnement :
   compilateur .env en ajoutant des clés d'API et d'autres options de configuration.

Processus d'utilisation

1. Lancer l'application :

   make run
   

   • Serveur dorsal : http://127.0.0.1:8000
   • Serveur frontal : http://127.0.0.1:8080
2. Créer un nouvel agent :
   • Copie de fichiers modèles sample_agent.py jusqu'à (un moment) Director/backend/director/agents/ et renommé.
   • Mettre à jour le nom de la classe, le nom de l'agent et la description.
   • Mise en œuvre de la logique de proxy, mise à jour run() Méthodes.
   • Gère les sorties et les mises à jour d'état à l'aide de la fonction push_update() Envoi d'un événement de progression.
   • Enregistrer un nouvel agent à l'adresse suivante Director/backend/director/handler.py Importer la nouvelle classe de proxy dans le fichier self.agents Liste.
3. Services de documentation :
   • Documentation sur les services locaux :

     source backend/venv/bin/activate
     make install-be
     mkdocs serve -a localhost:9000
     

   • Élaborer la documentation :

     mkdocs build
     

Lignes directrices pour l'utilisation

1. Résumé vidéoAprès avoir téléchargé une vidéo, utilisez des commandes en langage naturel pour générer un résumé de la vidéo. Par exemple, tapez "Générer un résumé de cette vidéo" et le système traitera et générera automatiquement un résumé.
2. Recherche vidéoLe système recherchera et affichera les clips pertinents dans la vidéothèque.
3. clip vidéoSélectionnez un clip vidéo et modifiez-le à l'aide des outils d'édition pour obtenir le clip vidéo souhaité.
4. Intégration avec les projets et les API de GenAILes outils de traitement vidéo : étendre les capacités de traitement vidéo en intégrant d'autres outils d'intelligence artificielle par l'intermédiaire d'interfaces API.
5. Ajout d'incrustations et génération de vignettesDans l'interface d'édition vidéo, sélectionnez l'option d'ajout d'une couche d'incrustation ou de génération d'une vignette, et le système s'en chargera automatiquement.
6. Doublage et traduction des sous-titresAprès avoir téléchargé la vidéo, sélectionnez la fonction de traduction du doublage ou des sous-titres, et le système générera automatiquement le doublage ou les sous-titres correspondants.

Procédure d'utilisation détaillée

• Génération d'un résumé vidéo: :
  1. Télécharger un fichier vidéo.
  2. Saisissez "Générer un résumé vidéo" dans le champ de saisie de la commande.
  3. Après traitement par le système, le résumé vidéo généré s'affiche dans la zone de résultats.
• Recherche vidéo: :
  1. Accédez à la page de recherche de vidéos.
  2. Saisissez des mots-clés dans le champ de recherche.
  3. Le système effectue une recherche dans la vidéothèque et affiche les clips correspondants.
• clip vidéo: :
  1. Sélectionnez la vidéo à éditer.
  2. Utilisez l'outil clip pour sélectionner les heures de début et de fin.
  3. Cliquez sur le bouton "Générer un clip", le système génère et enregistre le clip.
• Intégration avec les projets et les API de GenAI: :
  1. Allez sur la page d'intégration de l'API.
  2. Saisissez la clé API et la configuration requises.
  3. Le système intègre et active automatiquement les nouvelles fonctionnalités.
• Ajout d'incrustations et génération de vignettes: :
  1. Sur la page d'édition vidéo, sélectionnez "Ajouter une incrustation" ou "Générer une vignette".
  2. Le système traite et applique automatiquement les modifications.
• Doublage et traduction des sous-titres: :
  1. Télécharger un fichier vidéo.
  2. Sélectionnez la fonction "doublage vocal" ou "traduction des sous-titres".
  3. Le système génère et applique automatiquement le doublage ou le sous-titrage.