SoniTranslate : Solution de doublage de traduction vidéo open source, doublage multiple, ajustement de la vitesse et imitation du son original

Introduction générale

SoniTranslate est un outil de doublage vidéo multilingue puissant et convivial, conçu pour fournir une solution de traduction vidéo et de synchronisation audio. Il utilise des technologies avancées de reconnaissance vocale et de traduction automatique pour traduire le contenu vidéo en plusieurs langues et maintenir l'audio synchronisé. Construit sur la bibliothèque Gradio, le projet fournit une interface web conviviale avec un support pour plusieurs langues et plusieurs formats de sortie pour les créateurs de contenu et les utilisateurs qui ont besoin d'une traduction vidéo multilingue.

Cahier de liaison : https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

Démonstration en ligne : https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

Liste des fonctions

• traduction de vidéosTraduire un contenu vidéo en plusieurs langues.
• audio synchroniséLa traduction de l'audio est synchronisée avec la vidéo.
• Prise en charge multilingueLes services de traduction sont pris en charge dans plus de 80 langues.
• Génération de sous-titresGénération automatique de fichiers de sous-titres traduits.
• remplacement de la paroleRemplace le discours original de la vidéo par un modèle TTS.
• interface convivialeInterface web facile à utiliser, basée sur la bibliothèque Gradio.
• Plusieurs formats de sortieLa sortie des formats MP3, MP4, MKV, WAV et OGG est prise en charge.

Utiliser l'aide

Processus d'installation

1. Préparation de l'environnementPour plus d'informations, veuillez consulter la page suivante : Assurez-vous que les pilotes NVIDIA et CUDA 11.8.0 sont installés.
2. Installer FFmpegPour le traitement des fichiers vidéo et audio.
3. Installer SoniTranslate: :
   • Cloner un dépôt GitHub :git clone https://github.com/R3gm/SoniTranslate.git
   • Accédez au catalogue de projets :cd SoniTranslate
   • Créer et activer un environnement Conda :conda create -n sonitr python=3.8(math.) genreconda activate sonitr
   • Installer la dépendance :pip install -r requirements.txt
4. Exécution de l'application: :
   • Lancer l'application :python app_rvc.py
   • Ouvrez votre navigateur pour accéder à l'URL locale : http://127.0.0.1:7860

Processus d'utilisation

1. Télécharger la vidéoTélécharger le fichier vidéo à traduire dans l'interface web.
2. Sélectionner la langue: Sélection de la langue cible pour la traduction.
3. Options de configurationLes options telles que la génération de sous-titres, le remplacement de la parole, etc. sont configurées en fonction des besoins.
4. Commencer la traductionCliquez sur le bouton "Démarrer la traduction" et attendez que la traduction soit terminée.
5. Télécharger les résultatsTélécharger le fichier vidéo, audio ou de sous-titres traduit une fois la traduction terminée.

Étapes détaillées

1. Télécharger la vidéoCliquez sur le bouton "Charger la vidéo" pour sélectionner un fichier vidéo local à charger.
2. Sélectionner la langueLangue cible : Sélectionnez la langue à traduire dans le menu déroulant "Langue cible".
3. Options de configuration: :
   • Génération de sous-titresGénérer des sous-titres : Cochez l'option "Générer des sous-titres", le système générera automatiquement les fichiers de sous-titres traduits.
   • remplacement de la paroleRemplacement de la voix : En cochant l'option "Remplacement de la voix", le système remplacera la voix originale de la vidéo par le modèle TTS.
4. Commencer la traductionCliquez sur le bouton "Commencer la traduction" et le système commencera à traiter la vidéo et à la traduire.
5. Voir le progrèsLa traduction est en cours : vérifiez la progression de la traduction dans la colonne "Progression de la traduction" et attendez que la traduction soit achevée.
6. Télécharger les résultatsUne fois la traduction terminée, cliquez sur le bouton "Télécharger", sélectionnez le format de sortie souhaité (MP3, MP4, MKV, WAV ou OGG) et téléchargez le fichier résultant.