KrillinAI : outil de globalisation multilingue pour la vidéo avec traduction et doublage en un clic

Introduction générale

KrillinAI est un outil de traitement vidéo open-source qui utilise l'intelligence artificielle pour aider les utilisateurs à traduire des vidéos et à les doubler automatiquement. Il peut démarrer à partir du téléchargement d'une vidéo et continuer à générer des produits finis pour différentes plateformes en seulement quelques clics. Les développeurs ont mis le code à disposition gratuitement sur GitHub, afin que les utilisateurs puissent le télécharger et l'exécuter localement. KrillinAI utilise la technologie LLM (Large Language Modelling) pour fournir des traductions et des sous-titres de haute qualité, et il prend actuellement en charge des traductions dans 56 langues, avec des entrées en chinois, en anglais, en japonais et plus encore. Il ajuste également les formats vidéo et s'adapte à des plateformes telles que YouTube, TikTok et Jieyin, ce qui permet aux créateurs de contenu de produire rapidement des vidéos multilingues.

Liste des fonctions

• Téléchargement et chargement de vidéosLe système d'exploitation de l'Internet : Il permet de télécharger des vidéos à partir de YouTube, Jitterbug, Bilibili, ou de télécharger des fichiers locaux.
• Génération de sous-titres précisUtilisation de la Chuchotement La technologie reconnaît la parole et génère des sous-titres très précis.
• Fractionnement intelligent des sous-titresLa segmentation des sous-titres se fait naturellement à l'aide d'un grand modèle de langage, en conservant l'intégrité sémantique.
• traduction professionnelleTraduction de paragraphes entiers pour garantir la cohérence contextuelle et un niveau proche de celui de l'homme.
• Doublage et clonage de voix: Fourni CosyVoice de doublures masculines et féminines, ou télécharger un clone audio de la voix.
• Réglage du format vidéoLes vidéos sont générées automatiquement en format paysage ou portrait, et s'adaptent aux différentes plates-formes.
• Remplacement de la terminologieLe système d'échange de vocabulaire : Il permet de remplacer en un seul clic le vocabulaire dans les domaines spécialisés.

Utiliser l'aide

Processus d'installation

KrillinAI doit être installé localement pour fonctionner, voici les étapes détaillées :

1. Télécharger le fichier
   • Ouvrir https://github.com/krillinai/KrillinAI.
   • Cliquez sur "Releases" dans le coin supérieur droit de la page pour télécharger la version appropriée à votre système (par exemple, Windows, macOS).
   • Extraire les fichiers dans un dossier vide.
2. Environnement de configuration
   • Créer un dossier dans la base de données config Dossier.
   • existent config Créer un nouveau dossier dans le config.toml Documentation.
   • Depuis le site GitHub config-example.toml Copier le contenu vers config.tomlpuis remplir la configuration.
   • Configuration la plus simple : utilisez uniquement le service OpenAI et remplissez les champs suivants :

     [openai]
     apikey = "你的OpenAI API密钥"
     transcription_provider = "openai"
     llm_provider = "openai"
     

   • Si un proxy ou un modèle personnalisé est nécessaire, ajoutez app.proxy peut-être openai.base_url.
3. programme de course
   • Windows (ordinateur)Double-cliquer sur l'exécutable pour le démarrer.
   • macOSLa confiance manuelle est requise car elle n'est pas signée :
     • Ouvrez un terminal et allez dans le répertoire des fichiers.
     • Entrez la commande :

       sudo x'attr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
       sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
       ./KrillinAI_1.0.0_macOS_arm64
       

   • Après le démarrage, le service s'exécute sur http://127.0.0.1:8888(Le port peut être modifié).
4. Déploiement Docker (optionnel)
   • Dans le site de GitHub docs/docker.md Voir les étapes détaillées.
   • Installer Docker, extraire l'image et l'exécuter.

Fonctionnement des principales fonctions

Traduction de vidéos et génération de sous-titres

• déplacer: :
  1. Après avoir démarré le service, le navigateur accède à la page d'accueil de l'application http://127.0.0.1:8888.
  2. Saisissez le lien de la vidéo (par exemple https://www.youtube.com/watch?v=xxx) ou de télécharger un fichier.
  3. Sélectionnez la langue d'entrée (par exemple, le chinois) et la langue cible (par exemple, l'anglais).
  4. Cliquez sur "Démarrer" et le programme reconnaît automatiquement la parole, génère des sous-titres et les traduit.
• en fin de compteLes fichiers de sous-titres sont enregistrés dans le tasks Dossier.
• prendre noteSi le téléchargement échoue, configurez l'option cookies.txtparaître (être qqch) docs/get_cookies.md.

fonction de doublage

• déplacer: :
  1. Une fois les sous-titres générés, cliquez sur l'option "Doublage".
  2. Choisissez une voix masculine ou féminine pour CosyVoice, ou téléchargez un échantillon audio pour cloner la voix.
  3. Cliquez sur "Générer" et le programme synthétisera automatiquement la voix off.
• en fin de compteLa voix off et la vidéo sont fusionnées pour générer un nouveau fichier.
• caractérisationLe doublage multilingue est pris en charge et les pistes audio et les sous-titres sont alignés avec précision.

Réglage du format vidéo

• déplacer: :
  1. Lors de la création d'une vidéo, sélectionnez "Paysage" ou "Portrait".
  2. Cliquez sur "Terminer" et le programme ajuste la résolution et la disposition des sous-titres.
• en fin de compte: produit des vidéos adaptées à YouTube (paysage) ou TikTok (portrait).
• attirer l'attention sur qqch.Les sous-titres changent automatiquement de ligne s'ils sont trop longs, ce qui permet d'obtenir un écran bien ordonné.

Fonction en vedette Fonctionnement

Fractionnement intelligent des sous-titres

• Le programme analyse la parole à l'aide d'un grand modèle de langage et divise les sous-titres en fonction de la sémantique. Par exemple, un dialogue de 10 secondes est divisé en segments en fonction de l'intégrité de la phrase, plutôt qu'en fonction d'une durée fixe.
• Aucune configuration manuelle n'est nécessaire, le traitement se fait automatiquement.

Remplacement de la terminologie

• déplacer: :
  1. existent config.toml Ajoutez une règle de remplacement telle que :

     [custom_vocab]
     "AI" = "人工智能"
     "LLM" = "大语言模型"
     

  2. Redémarrer le programme et le remplacer automatiquement lors de la traduction.
• utiliserLes langues de travail sont le français, l'anglais, l'allemand, l'italien et le portugais.

clonage du son

• déplacer: :
  1. Téléchargez un échantillon audio de 10 à 30 secondes dans l'écran de voix-off.
  2. Sélectionnez "Clone Sound" et le programme génère un son similaire.
• demandeSi vous utilisez le service AliCloud, vous devez configurer les éléments suivants aliyun.ossparaître (être qqch) docs/aliyun.md.

Options de configuration supplémentaires

• modèle local: Réglages transcription_provider = "fasterwhisper"Champs obligatoires local_model.faster_whisperLe modèle sera téléchargé automatiquement (macOS n'est pas encore pris en charge).
• Services AliCloudSi vous utilisez les grands modèles ou le doublage d'AliCloud, vous devez configurer le paramètre aliyun.bailian peut-être aliyun.speech.

scénario d'application

1. Création de contenu multilingue
   • Les blogueurs de YouTube veulent traduire des vidéos chinoises en anglais et en français. KrillinAI génère rapidement des sous-titres et des voix off en format paysage.
2. Courte vidéo de promotion
   • Les commerçants utilisent Jitterbug pour promouvoir leurs produits, et KrillinAI convertit la vidéo en écran vertical avec la langue locale pour renforcer l'attrait.
3. Partage des ressources éducatives
   • Les enseignants traduisent les vidéos de cours en plusieurs langues, et KrillinAI fournit des sous-titres et des voix off précis pour les étudiants du monde entier.

QA

1. Pourquoi l'API est-elle absente au démarrage ?
   • doivent être à config.toml Remplir le formulaire de l'OpenAI apikeyPour plus d'informations, consultez le site web de l'OpenAI.
2. Quelles sont les langues d'entrée prises en charge ?
   • Il prend actuellement en charge le chinois, l'anglais, le japonais, l'allemand, le turc et d'autres langues sont en cours de développement.
3. Combien de temps faut-il pour traduire et doubler ?
   • Le traitement d'une vidéo de 10 minutes prend environ 5 à 10 minutes, selon le réseau et la configuration.
4. Comment réparer un téléchargement qui a échoué ?
   • configurer cookies.txtréférence docs/get_cookies.md Exporter les cookies du navigateur.