KrillinAI: herramienta de globalización multilingüe para vídeo con traducción y doblaje en un clic

Introducción general

KrillinAI es una herramienta de procesamiento de vídeo de código abierto que se centra en el uso de la inteligencia artificial para ayudar a los usuarios a traducir vídeos y doblarlos automáticamente. Puede partir de la descarga de un vídeo y seguir generando productos acabados para distintas plataformas en unos pocos clics. Los desarrolladores han puesto el código a disposición de los usuarios de forma gratuita en GitHub, para que puedan descargarlo y ejecutarlo localmente. KrillinAI utiliza la tecnología Large Language Modelling (LLM) para ofrecer traducciones y generación de subtítulos de alta calidad, y actualmente admite traducciones para 56 idiomas, con entradas en chino, inglés, japonés y más. También ajusta los formatos de vídeo y se adapta a plataformas como YouTube, TikTok y Jieyin, por lo que resulta adecuado para que los creadores de contenidos produzcan rápidamente vídeos multilingües.

Lista de funciones

• Descarga y carga de vídeosAdmite la descarga de vídeos de YouTube, Jitterbug, Bilibili o la carga de archivos locales.
• Generación precisa de subtítulos: Uso de Susurro Esta tecnología reconoce el habla y genera subtítulos de gran precisión.
• División inteligente de subtítulos: La segmentación de los subtítulos se realiza de forma natural mediante un gran modelo lingüístico, manteniendo intacta la integridad semántica.
• traducción profesionalTraducción de párrafos enteros para garantizar la coherencia contextual y un nivel cercano al humano.
• Doblaje y clonación de voces: Provided CosyVoice de doblajes masculinos y femeninos, o subir un clon de audio de la voz.
• Ajuste del formato de vídeo: Genera automáticamente vídeo en horizontal o vertical, adaptándose a las distintas plataformas.
• Sustitución terminológica: Admite la sustitución de vocabulario en campos especializados con un solo clic.

Utilizar la ayuda

Proceso de instalación

KrillinAI necesita ser instalado localmente para funcionar, aquí están los pasos detallados:

1. Descargar archivo
   • Abra https://github.com/krillinai/KrillinAI.
   • Haga clic en "Versiones" en la esquina superior derecha de la página para descargar la versión adecuada para su sistema (por ejemplo, Windows, macOS).
   • Extraiga los archivos a una carpeta vacía.
2. Entorno de configuración
   • Cree una carpeta dentro de config Carpeta.
   • existe config Crear una nueva carpeta config.toml Documentación.
   • Desde GitHub config-example.toml Copie el contenido en config.tomly, a continuación, rellene la configuración.
   • Configuración más sencilla: Utiliza sólo el servicio OpenAI y rellena lo siguiente:

     [openai]
     apikey = "你的OpenAI API密钥"
     transcription_provider = "openai"
     llm_provider = "openai"
     

   • Si se necesita un proxy o un modelo personalizado, añada app.proxy tal vez openai.base_url.
3. programa de carrera
   • Windows (ordenador)Haga doble clic en el ejecutable para iniciarlo.
   • macOS: Se requiere confianza manual, ya que no está firmado:
     • Abra un terminal y vaya al directorio de archivos.
     • Introduce el comando:

       sudo x'attr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
       sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
       ./KrillinAI_1.0.0_macOS_arm64
       

   • Tras iniciarse, el servicio se ejecuta en http://127.0.0.1:8888(El puerto puede cambiarse).
4. Despliegue en Docker (opcional)
   • En GitHub docs/docker.md Ver pasos detallados.
   • Instala Docker, extrae la imagen y ejecútala.

Funcionamiento de las funciones principales

Traducción de vídeo y generación de subtítulos

• mover::
  1. Tras iniciar el servicio, el navegador accede a la página http://127.0.0.1:8888.
  2. Introduzca el enlace del vídeo (por ejemplo https://www.youtube.com/watch?v=xxx) o cargar un archivo.
  3. Seleccione la lengua de entrada (por ejemplo, chino) y la lengua de llegada (por ejemplo, inglés).
  4. Haga clic en "Inicio" y el programa reconocerá automáticamente el habla, generará subtítulos y los traducirá.
• al finalLos archivos de subtítulos se guardan en la carpeta tasks Carpeta.
• tenga en cuentaSi la descarga falla, configure el cookies.txtparecer (ser algo) docs/get_cookies.md.

función de doblaje

• mover::
  1. Una vez generados los subtítulos, haz clic en la opción "Doblaje".
  2. Elige una voz masculina o femenina para CosyVoice, o sube una muestra de audio para clonar la voz.
  3. Haz clic en "Generar" y el programa sintetizará automáticamente la voz en off.
• al finalLa voz en off y el vídeo se fusionan para generar un nuevo archivo.
• caracterización: Se admite el doblaje multilingüe, y las pistas de audio y los subtítulos se alinean con precisión.

Ajuste del formato de vídeo

• mover::
  1. Al generar un vídeo, selecciona "Horizontal" o "Vertical".
  2. Haz clic en "Finalizar" y el programa ajustará la resolución y la disposición de los subtítulos.
• al finalSalida de vídeos adaptada a YouTube (horizontal) o TikTok (vertical).
• llamar la atención sobre algo: Los subtítulos cambiarán automáticamente de línea si son demasiado largos, garantizando una pantalla limpia y ordenada.

Función destacada Operación

División inteligente de subtítulos

• El programa analiza el habla mediante un gran modelo lingüístico y divide los subtítulos por semántica. Por ejemplo, un diálogo de 10 segundos se divide en segmentos en función de la integridad de la frase, en lugar de un corte de tiempo fijo.
• No es necesaria ninguna configuración manual, el tratamiento se realiza automáticamente.

Sustitución terminológica

• mover::
  1. existe config.toml Añade una regla de sustitución como

     [custom_vocab]
     "AI" = "人工智能"
     "LLM" = "大语言模型"
     

  2. Reinicie el programa y sustitúyalo automáticamente al traducir.
• utilice: Adecuado para ámbitos como la tecnología, la educación, etc., para garantizar una terminología precisa.

clonación de sonido

• mover::
  1. Sube una muestra de audio de 10-30 segundos en la pantalla de locución.
  2. Seleccione "Clonar sonido" y el programa generará un sonido similar.
• solicitarSi utiliza el servicio AliCloud, debe configurar aliyun.ossparecer (ser algo) docs/aliyun.md.

Opciones de configuración adicionales

• modelo local: Ajustes transcription_provider = "fasterwhisper"Campos obligatorios local_model.faster_whisperEl modelo se descargará automáticamente (macOS aún no es compatible).
• Servicios AliCloud: Si utilizas los modelos grandes de AliCloud o el doblaje, tienes que configurar la opción aliyun.bailian tal vez aliyun.speech.

escenario de aplicación

1. Creación de contenidos multilingües
   • Los blogueros de YouTube quieren traducir vídeos chinos al inglés y al francés. KrillinAI genera rápidamente subtítulos y locuciones en formato apaisado.
2. Promoción en vídeo de corta duración
   • Los comerciantes utilizan Jitterbug para promocionar sus productos, y KrillinAI convierte el vídeo a pantalla vertical e idioma local para aumentar el atractivo.
3. Compartir recursos educativos
   • Los profesores traducen los vídeos del curso a varios idiomas, y KrillinAI proporciona subtítulos y voz en off precisos para estudiantes de todo el mundo.

CONTROL DE CALIDAD

1. ¿Por qué falta la API al iniciarse?
   • necesitan estar en config.toml Rellene el formulario de OpenAI apikeyPara más información, visite el sitio web de OpenAI.
2. ¿Qué idiomas de entrada se admiten?
   • Actualmente admite chino, inglés, japonés, alemán, turco y más idiomas en desarrollo.
3. ¿Cuánto se tarda en traducir y doblar?
   • Procesar un vídeo de 10 minutos lleva entre 5 y 10 minutos, según la red y la configuración.
4. ¿Cómo soluciono una descarga fallida?
   • configure cookies.txtreferencia docs/get_cookies.md Exportar cookies del navegador.