Conversion vocale basée sur la recherche WebUI : un cadre pour la conversion vocale basée sur la recherche simulant les voix de chant de la vie réelle

Introduction générale

Récupération est un cadre de conversion vocale simple et facile à utiliser, basé sur le VITS, qui peut réaliser la conversion vocale entre n'importe quels locuteurs, y compris les reprises de chansons et le changement de voix en temps réel. Il prend en charge l'accélération des cartes N, A et I, fournit une interface web et une interface de conversion vocale en temps réel, et peut également faire appel au modèle UVR5 pour séparer rapidement la voix humaine et les chœurs, et utiliser l'algorithme d'extraction de hauteur vocale le plus avancé, RMVPE, pour éliminer le problème des voix muettes.

expérience colab en ligne

Le modèle inférieur est formé à l'aide de près de 50 heures de jeu d'entraînement VCTK de source ouverte et de haute qualité, sans souci de droits d'auteur.

Nous attendons avec impatience le modèle inférieur de RVCv3, avec de plus grands paramètres, de plus grandes données, de meilleurs résultats, une vitesse d'inférence sensiblement égale et moins de données d'entraînement requises.

Interface de formation et de raisonnement

Interface de modification vocale en temps réel

Liste des fonctions

• Entraînez votre propre modèle de conversion vocale avec seulement 10 minutes de données vocales.
• Prise en charge de plusieurs taux d'échantillonnage et tonalités à l'aide de modèles de conversion vocale pré-entraînés
• Conversion de la parole à l'aide d'une interface web ou d'une interface de modification de la voix en temps réel avec prise en charge d'une faible latence de bout en bout
• Séparation des voix et des pistes d'accompagnement à l'aide de la modélisation UVR5, prise en charge de plusieurs formats de fichiers audio
• Utilisation de l'algorithme RMVPE pour extraire la hauteur de la voix, prise en charge de pytorch/onnx/DirectML

Utiliser l'aide

• Téléchargez ou clonez ce dépôt et installez les dépendances et les pré-modèles nécessaires.
• Exécutez go-web.bat ou go-realtime-gui.bat et sélectionnez l'action que vous souhaitez effectuer.
• En fonction des invites de l'interface, sélectionnez les fichiers vocaux ou les dispositifs d'entrée et de sortie, réglez les paramètres et les options.
• Cliquez sur démarrer ou arrêter et profitez de la conversion vocale !