Linly-Dubbing: herramienta inteligente de doblaje/traducción multilingüe de vídeo por IA

Introducción general

Linly-Dubbing es una herramienta inteligente de doblaje y traducción multilingüe diseñada para ofrecer a los usuarios servicios de doblaje de vídeo multilingüe y traducción de subtítulos de alta calidad mediante la integración de tecnología avanzada de IA. La herramienta es especialmente adecuada para escenarios como la educación internacional y la localización global de contenidos, ayudando a los equipos a difundir contenidos de alta calidad en todo el mundo.

Lista de funciones

• Soporte multilingüe: Ofrece traducciones de doblaje y subtitulación en chino y muchos otros idiomas para satisfacer las necesidades de la globalización.
• Reconocimiento de voz por IA: Conversión de voz a texto y reconocimiento de locutor mediante tecnología de IA avanzada.
• Traducción de grandes modelos lingüísticosLa combinación de una modelización lingüística de vanguardia (por ejemplo, GPT) permite realizar traducciones con rapidez y precisión, garantizando la profesionalidad y la naturalidad.
• Clonación de voz por IA: Gracias a una tecnología puntera de clonación de voces, genera una voz muy similar a la del doblaje original en vídeo, manteniendo la coherencia emocional y de entonación.
• Tecnología digital de sincronización labial entre humanosGracias a la tecnología de sincronización labial, la voz en off se adapta perfectamente a la pantalla de vídeo, lo que aumenta la sensación de realismo e interactividad.
• Carga y traducción flexiblesLos usuarios pueden subir vídeos y elegir su propio idioma y norma de traducción, lo que garantiza la personalización y la flexibilidad.
• actualización periódica: Presentamos continuamente los últimos modelos para mantenernos a la vanguardia del doblaje y la traducción.

Utilizar la ayuda

Proceso de instalación

1. almacén de clonesEn primer lugar, clone el repositorio Linly-Dubbing en su máquina local e inicialice los submódulos.

   git clone https://github.com/Kedreamix/Linly-Dubbing.git --depth 1
   cd Linly-Dubbing
   git submodule update --init --recursive
   

2. Instalación de dependenciasCree un nuevo entorno Python e instale las dependencias necesarias.

   conda create -n linly_dubbing python=3.10 -y
   conda activate linly_dubbing
   cd Linly-Dubbing/
   conda install ffmpeg==7.0.2 -c conda-forge
   python -m pip install --upgrade pip
   pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   pip install -r requirements_module.txt
   

3. Configuración de variables de entornoCree el archivo .env en el directorio raíz del proyecto y rellene las variables de entorno necesarias.

   OPENAI_API_KEY=sk-xxx
   MODEL_NAME=gpt-4
   HF_TOKEN=your_hugging_face_token
   

4. Ejecutar la aplicaciónDescarga el modelo requerido e inicia la interfaz WebUI.

   bash scripts/download_models.sh
   python webui.py
   

Proceso de utilización

1. Cargar vídeoLos usuarios pueden cargar archivos de vídeo para doblarlos o traducirlos a través de la interfaz WebUI.
2. Selección de lengua y criteriosEl usuario puede seleccionar el idioma que desea traducir y la norma de doblaje después de cargar el vídeo.
3. Generar doblajes y subtítulos: El sistema realizará automáticamente el reconocimiento de voz, la traducción y la generación del doblaje, y sincronizará la generación de los archivos de subtítulos.
4. Descargar resultadosLos usuarios pueden descargar los archivos de vídeo doblado y subtítulos generados para su posterior edición y uso.

Funciones principales

• Descarga automática de vídeos: Utiliza la herramienta yt-dlp para descargar vídeo y audio en distintos formatos y resoluciones.
• separación vocalSeparación de pistas vocales y de acompañamiento mediante Demucs y la tecnología UVR5 para producir pistas de acompañamiento y extractos vocales de alta calidad.
• Reconocimiento de voz por IAReconocimiento preciso del habla y generación de subtítulos mediante WhisperX y FunASR, con compatibilidad para el reconocimiento de varios hablantes.
• Traducción de grandes modelos lingüísticosTraducciones multilingües de alta calidad que combinan la API OpenAI y el modelo Qwen.
• Síntesis de voz por IA: Utilización de Edge TTS y CosyVoice Genere una salida de voz natural y fluida compatible con varios idiomas y estilos de voz.
• Tratamiento de vídeoPersonaliza el contenido de tus vídeos añadiendo subtítulos, insertando música de fondo, ajustando el volumen y modificando la velocidad de reproducción.
• Tecnología digital de sincronización labial entre humanosSincronización labial digital entre humanos mediante la tecnología Linly-Talker para mejorar la profesionalidad del vídeo y la experiencia de visionado.

Paquete de instalación de Linly-Dubbing con un solo clic

Quark: https://pan.quark.cn/s/f526eb488113

Disco: https://pan.baidu.com/s/1aapXpIc7qwO5h5sDzF9dLA?pwd=np7w