GPT SoVITS : Outils révolutionnaires de génération et de clonage de discours

Introduction générale

GPT-SoVITS est un outil de conversion et de synthèse vocale open source qui combine le modèle GPT et la technologie de changement de voix SoVITS. L'outil prend en charge la conversion instantanée du texte en parole avec zéro ou peu d'échantillons, et la migration du style de voix en seulement 5 secondes d'échantillons audio. Parmi les fonctionnalités, citons la prise en charge de plusieurs langues, la séparation des pistes intégrée et d'autres fonctions utiles qui facilitent la création de modèles vocaux personnalisés, même pour les débutants. Disponible pour l'anglais, le japonais et le chinois, il s'associe à l'ensemble d'outils WebUI pour faciliter toutes les opérations, du prétraitement des données à l'entraînement des modèles. Que vous soyez un novice ou un professionnel de l'IA, vous pouvez découvrir le charme de la technologie vocale ici.

Liste des fonctions

• Zero Sample TTS : entrez un échantillon vocal de 5 secondes pour bénéficier immédiatement de la conversion texte-parole.
• TTS avec moins d'échantillons : affinez le modèle en utilisant seulement une minute de données d'entraînement pour améliorer la similitude et le réalisme des sons.
• Prise en charge de plusieurs langues : actuellement, les inférences sont prises en charge pour des langues différentes de l'ensemble de formation, notamment l'anglais, le japonais, le coréen, le cantonais et le mandarin.
• Outils WebUI : séparation intégrée de l'accompagnement vocal, segmentation automatique des ensembles d'entraînement, ASR chinois et annotation de texte pour aider les débutants à créer des données d'entraînement et des modèles GPT/SoVITS.

Utiliser l'aide

Processus d'installation

Utilisateur Windows

1. Télécharger le paquet d'intégration.
2. double clicgo-webui.batDémarrer le GPT-SoVITS-WebUI.
3. Suivez les instructions de l'interface.

Utilisateur de Linux

1. Créer un environnement virtuel :conda create -n GPTSoVits python=3.9
2. Activer l'environnement virtuel :conda activate GPTSoVits
3. Installer la dépendance :bash install.sh

Utilisateurs de macOS

1. Installer l'outil de ligne de commande Xcode :xcode-select --install
2. Installer FFmpeg :brew install ffmpeg
3. Créer un environnement virtuel et installer les dépendances :

   conda create -n GPTSoVits python=3.9
   conda activate GPTSoVits
   pip install -r requirements.txt
   

Processus d'utilisation

1. Préparation des donnéesPréparer un échantillon de parole d'au moins 5 secondes à télécharger dans l'interface WebUI.
2. formation au modèleLe mode "zéro" ou "quelques échantillons" est sélectionné et les données d'apprentissage correspondantes sont téléchargées.
3. transcription phonétiquePour cela, il suffit de saisir le contenu du texte, de sélectionner l'échantillon vocal cible et de cliquer sur le bouton Convert (Convertir).
4. Exportation des résultatsUne fois la conversion terminée, vous pouvez télécharger le fichier audio qui en résulte.

Fonctions

• Échantillon zéro TTSPour cela, il suffit de télécharger un échantillon vocal de 5 secondes dans l'interface WebUI, d'entrer le contenu du texte et de cliquer sur le bouton Convertir pour générer le fichier vocal correspondant.
• Echantillon moins de TTSLes données d'entraînement doivent être téléchargées pendant au moins une minute afin d'affiner le modèle et d'améliorer la similitude et le réalisme de la parole générée.
• Prise en charge des langues étrangèresLe système effectue automatiquement la conversion linguistique et la génération de la parole.
• Outils WebUISimplifier le traitement des données et le processus de formation des modèles en utilisant des fonctions intégrées telles que la séparation des accompagnements vocaux, la segmentation automatique des ensembles de formation, l'ASR chinois et l'annotation de texte.

Intégration des options de déploiement

Tutoriel GPT-SoVITS

colab free run GPT-SoVITS

Multi-voix-TTS-GPT-SoVITS (en cours d'exécution en ligne)

GPT-SoVITS Version simplifiée

Installateur universel Monarch