NarratoAI : Narration cinématographique et télévisuelle générée par le texte et outil de montage automatisé

Introduction générale

NarratoAI est un outil entièrement automatisé qui intègre la narration cinématographique et télévisuelle, le montage automatisé, la génération de voix-off et de sous-titres. Il s'appuie sur la technologie de modélisation du langage à grande échelle (LLM) pour générer automatiquement des textes et éditer automatiquement des vidéos avec les voix off et les sous-titres correspondants, offrant ainsi aux utilisateurs une solution unique pour la narration de films et d'émissions télévisées. Cet outil simplifie considérablement le processus de création de contenu vidéo, améliore l'efficacité de la création et réduit la dépendance à l'égard des logiciels et du matériel d'édition vidéo professionnels.

Liste des fonctions

• Rédaction automatisée : utilisation de la technologie LLM pour générer des commentaires pour le cinéma et la télévision, avec un haut degré d'automatisation, ce qui permet d'économiser du temps et des efforts.
• Montage et doublage automatiques : le montage de la vidéo et le doublage se font automatiquement et simultanément, ce qui rend l'ensemble du processus plus efficace.
• Génération de sous-titres : la génération automatique de sous-titres permet de rendre le contenu vidéo plus lisible et plus facile à regarder.
• Déploiement local et déploiement Docker : prend en charge une variété de méthodes de déploiement, ce qui permet aux utilisateurs de choisir facilement l'environnement adéquat.

Utiliser l'aide

Installation et configuration

1. Demander un compte Google AI Studio et obtenir une clé API: :
   • entretiens Google AI Studio Demander un compte.
   • Cliquez sur "Get API Key" pour demander une clé d'API.
   • Remplir la clé API demandée dans le champ config.example.toml dans le fichier gemini_api_key Configuration.
2. déploiement local: :
   • Utilisez conda pour créer un environnement virtuel et installer les dépendances :

     conda create -n narratoai python=3.10
     conda activate narratoai
     cd narratoai
     pip install -r requirements.txt
     

   • Installez ImageMagick en fonction de votre système d'exploitation :
     • Windows : Téléchargez et installez ImageMagick et ajoutez ce qui suit au fichier de configuration config.toml mettre en place imagemagick_path.
     • MacOS : Installer en utilisant Homebrew :

       brew install imagemagick
       

   • Démarrez l'interface WebUI :

     streamlit run ./webui/Main.py --browser.serverAddress=127.0.0.1 --server.enableCORS=True --browser.gatherUsageStats=False
     

   • Accès dans le navigateur http://127.0.0.1:8501.
3. Déploiement Docker: :
   • Tirez le projet et démarrez Docker :

     git clone https://github.com/linyqh/NarratoAI.git
     cd NarratoAI
     docker-compose up
     

   • Accès dans le navigateur http://127.0.0.1:8501 Visualiser l'interface web.
   • Accéder à la documentation de l'API :http://127.0.0.1:8080/docs peut-être http://127.0.0.1:8080/redoc.

Utilisation

1. Configuration de base: :
   • Configurez la clé API et sélectionnez les modèles pris en charge. Actuellement, NarratoAI ne prend en charge que les modèles suivants Gémeaux d'autres modèles seront pris en charge dans les mises à jour ultérieures.
2. Sélectionner une vidéo et générer un script: :
   • Vous pouvez utiliser les vidéos de démonstration intégrées à la plateforme ou placer vos propres fichiers mp4 dans le fichier resource/videos et rafraîchissez votre navigateur pour charger la vidéo. Remarque : le nom du fichier ne peut pas contenir de caractères chinois, de caractères spéciaux, d'espaces ou de barres obliques inverses.
3. Enregistrez le script et commencez à l'éditer: :
   • Après avoir généré et enregistré le script, actualisez votre navigateur et, dans le menu déroulant du fichier de script, sélectionnez le script généré. .json pour commencer l'édition.
4. Voir la vidéo: :
   • Si certains clips de la vidéo ne répondent pas aux exigences, vous pouvez choisir de les régénérer ou de les éditer manuellement.
5. Configuration des paramètres vidéo: :
   • Après avoir configuré les paramètres de base de la vidéo, cliquez sur Lancer la génération de la vidéo.
6. Générer une vidéo: :
   • Une fois tous les paramètres définis, NarratoAI génère automatiquement la vidéo finale, complétant ainsi l'ensemble du processus de narration et d'édition.