SoniTranslate: Solución de código abierto para el doblaje de traducción de vídeo, doblaje múltiple, ajuste de velocidad e imitación del sonido original.

Introducción general

SoniTranslate es una herramienta de doblaje multilingüe de vídeo potente y fácil de usar, diseñada para ofrecer una solución de traducción de vídeo y audio sincronizado. Utiliza tecnologías avanzadas de reconocimiento de voz y traducción automática para traducir contenidos de vídeo a varios idiomas y mantener el audio sincronizado. El proyecto, basado en la biblioteca Gradio, ofrece una interfaz web fácil de usar y compatible con varios idiomas y formatos de salida para creadores de contenidos y usuarios que necesiten traducir vídeos multilingües.

Cuaderno Colab: https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

Demostración en línea: https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

Lista de funciones

• traducción de vídeosTraduce contenidos de vídeo a varios idiomas.
• audio sincronizado: Mantén el audio traducido sincronizado con el vídeo.
• Soporte multilingüeSoporte de traducción para más de 80 idiomas.
• Generación de subtítulos: Generación automática de archivos de subtítulos traducidos.
• sustitución del hablaSustituye el discurso original del vídeo por un modelo TTS.
• interfaz fácil de usarInterfaz web fácil de usar basada en la biblioteca Gradio.
• Múltiples formatos de salidaSoporta la salida de formatos MP3, MP4, MKV, WAV y OGG.

Utilizar la ayuda

Proceso de instalación

1. Preparar el entornoAsegúrese de que los controladores NVIDIA y CUDA 11.8.0 están instalados.
2. Instalar FFmpeg: Para procesar archivos de vídeo y audio.
3. Instalar SoniTranslate::
   • Clonar un repositorio GitHub:git clone https://github.com/R3gm/SoniTranslate.git
   • Vaya al catálogo de proyectos:cd SoniTranslate
   • Crear y activar un entorno Conda:conda create -n sonitr python=3.8(matemáticas) géneroconda activate sonitr
   • Instale la dependencia:pip install -r requirements.txt
4. Ejecutar la aplicación::
   • Inicie la aplicación:python app_rvc.py
   • Abra su navegador para acceder a la URL local: http://127.0.0.1:7860

Proceso de utilización

1. Cargar vídeoCarga el archivo de vídeo a traducir en la interfaz web.
2. Seleccionar idioma: Selección de la lengua de destino de la traducción.
3. Opciones de configuraciónConfigure opciones como la generación de subtítulos, el reemplazo de voz, etc., según sea necesario.
4. Iniciar la traducciónHaga clic en el botón "Iniciar traducción" y espere a que se complete la traducción.
5. Descargar resultadosDescarga el archivo de vídeo, audio o subtítulos traducido una vez finalizada la traducción.

Pasos detallados

1. Cargar vídeoHaga clic en el botón "Cargar vídeo" para seleccionar un archivo de vídeo local para cargar.
2. Seleccionar idiomaSeleccione el idioma que desea traducir en el menú desplegable "Idioma de destino".
3. Opciones de configuración::
   • Generación de subtítulosMarque la opción "Generar subtítulos", el sistema generará automáticamente los archivos de subtítulos traducidos.
   • sustitución del habla: Al marcar la opción "Sustitución de voz", el sistema sustituirá la voz original del vídeo por el modelo TTS.
4. Iniciar la traducciónHaga clic en el botón "Iniciar traducción" y el sistema empezará a procesar el vídeo y a traducirlo.
5. Ver progreso: Comprueba el progreso actual de la traducción en la columna "Progreso de la traducción" y espera a que se complete.
6. Descargar resultadosUna vez finalizada la traducción, haz clic en el botón "Descargar", selecciona el formato de salida deseado (MP3, MP4, MKV, WAV u OGG) y descarga el archivo resultante.