FoleyCrafter : ajouter un son synchronisé à une vidéo silencieuse

Introduction générale

FoleyCrafter est un projet open source développé par OpenMMLab pour générer des effets sonores vivants et synchronisés pour les vidéos muettes. Le projet utilise des techniques avancées d'intelligence artificielle pour analyser le contenu vidéo et générer des effets sonores sémantiquement pertinents et synchronisés dans le temps afin d'améliorer le réalisme et la profondeur émotionnelle de la vidéo.FoleyCrafter a pour objectif de fournir des solutions sonores de haute qualité pour les films, les jeux et d'autres domaines afin d'améliorer l'expérience audiovisuelle du public.

Synthèse automatisée des flux de travail des voix-off : https://openart.ai/workflows/t8star/foleycrafter/wZyBSeaa2lvgU3c3NlcH

Liste des fonctions

• Génération de vidéo vers audioLes effets sonores : Générer des effets sonores sémantiquement pertinents et synchronisés sur la base du contenu vidéo.
• Génération de sons pour les alertes textuellesLes effets sonores : Générer des effets sonores spécifiques à une scène à partir d'indices textuels.
• l'alignement temporelLes effets sonores générés doivent être synchronisés avec le contenu de la vidéo.
• Interface GradioLe logiciel de génération de son : fournit une interface conviviale pour les opérations de génération de son.
• source ouverteLe système de gestion de l'information : Une base de code complète est fournie pour faciliter le développement secondaire et la personnalisation par les développeurs.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnement: :
   • Installez l'environnement Conda :conda env create -f requirements/environment.yaml
   • Activer l'environnement :conda activate foleycrafter
   • Installer Git LFS :conda install git-lfspuis exécutez git lfs install
2. Télécharger Checkpoints: :
   • être en mouvement inference.py Téléchargez automatiquement les points de contrôle ou téléchargez-les manuellement et placez-les dans le fichier checkpoints Catalogue.
3. Lancement de l'interface Gradio: :
   • être en mouvement python app.py --share Lancez l'interface Gradio.

Processus d'utilisation

1. Génération de vidéo vers audio: :
   • être en mouvement python inference.py --save_dir=output/sora/enregistrer le fichier audio généré dans le répertoire spécifié.
2. l'alignement temporel: :
   • être en mouvement python inference.py --temporal_align --input=input/avsync --save_dir=output/avsync/Les effets sonores générés sont synchronisés avec le temps du contenu vidéo.
3. Génération de sons pour les alertes textuelles: :
   • être en mouvement python inference.py --input=input/PromptControl/case1/ --seed=10201304011203481429 --prompt='noisy, people talking' --save_dir=output/PromptControl/case1_prompt/Les effets sonores sont générés pour des scènes spécifiques sur la base d'indices textuels.

Étapes détaillées

1. Préparation de l'environnement: :
   • Téléchargez et installez Conda : https://docs.conda.io/en/latest/miniconda.html
   • Cloner le code du projet :git clone https://github.com/open-mmlab/foleycrafter.git
   • Accédez au catalogue de projets :cd foleycrafter
   • Suivez les étapes ci-dessus pour installer les dépendances et configurer l'environnement.
2. Télécharger Checkpoints: :
   • Téléchargez et placez le fichier de point de contrôle, en vous assurant que la structure du répertoire est la suivante :

    └── checkpoints
   ├── semantic
   │   ├── semantic_adapter.bin
   ├── vocoder
   │   ├── vocoder.pt
   │   ├── config.json
   ├── temporal_adapter.ckpt
   │   └── timestamp_detector.pth.tar
   

3. Lancement de l'interface Gradio: :
   • être en mouvement python app.py --share Lance l'interface de Gradio, à laquelle l'utilisateur peut accéder par le biais d'un navigateur.
4. Générer des effets sonores: :
   • Sélectionnez différents modes de génération (vidéo vers audio, alignement temporel, repère textuel) et exécutez les commandes correspondantes pour générer des fichiers sonores en fonction de vos besoins.

Avec les étapes ci-dessus, les utilisateurs peuvent facilement commencer à utiliser FoleyCrafter pour ajouter des effets sonores vivants et synchronisés à des vidéos muettes afin d'améliorer l'expérience audiovisuelle. /n