Conversión de voz basada en recuperación WebUI: un marco para la conversión de voz basada en recuperación | Simulación de voces cantadas en la vida real

Introducción general

Recuperación La WebUI de conversión de voz basada en VITS es un marco de conversión de voz basado en VITS sencillo y fácil de usar, que puede realizar la conversión de voz entre cualquier altavoz, incluidas las carátulas de canciones y el cambio de voz en tiempo real. Se caracteriza por su baja latencia, excelente efecto de conversión de voz, pequeña cantidad de formación de datos, etc. Soporta aceleración por tarjeta N, tarjeta A, tarjeta I, proporciona interfaz web e interfaz de conversión de voz en tiempo real, y también puede llamar al modelo UVR5 para separar rápidamente la voz humana y los coros, y utilizar el algoritmo de extracción de tono vocal más avanzado RMVPE para eliminar el problema de las voces mudas.

experiencia colab en línea

El modelo inferior se ha entrenado utilizando cerca de 50 horas del conjunto de entrenamiento VCTK de código abierto y alta calidad, sin problemas de derechos de autor.

Esperamos con impaciencia el modelo inferior de RVCv3, con mayores parámetros, mayores datos, mejores resultados, una velocidad de inferencia esencialmente igual y menos datos de entrenamiento necesarios.

Interfaz de razonamiento de formación

Interfaz de cambio de voz en tiempo real

Lista de funciones

• Entrene su propio modelo de conversión de voz con tan sólo 10 minutos de datos de voz
• Admite múltiples frecuencias de muestreo y tonos mediante modelos de conversión de voz preentrenados.
• Conversión de voz mediante una interfaz web o una interfaz de alteración de voz en tiempo real con soporte de baja latencia de extremo a extremo.
• Separación de voces y pistas de acompañamiento mediante el modelado UVR5, compatible con varios formatos de archivo de audio
• Utilización del algoritmo RMVPE para extraer el tono vocal, compatibilidad con pytorch/onnx/DirectML

Utilizar la ayuda

• Descargue o clone este repositorio e instale las dependencias y los modelos previos necesarios.
• Ejecute go-web.bat o go-realtime-gui.bat y seleccione la acción que desea realizar.
• Según las indicaciones de la interfaz, selecciona los archivos o dispositivos de voz de entrada y salida, ajusta los parámetros y las opciones
• Haz clic en iniciar o detener y disfruta de la conversión de voz.