Babelfish.ai: aplicación de transcripción y traducción de voz en tiempo real para navegadores

Introducción general

Babelfish.ai es una aplicación basada en Huggingface TransformadorUna aplicación de transcripción y traducción en tiempo real construida con .js y Supabase Realtime. La aplicación puede cargar grandes modelos en el navegador y ejecutarse localmente para conseguir funciones de transcripción de voz a texto y traducción en tiempo real. Con una configuración y un funcionamiento sencillos, los usuarios pueden transcribir rápidamente contenido de voz a texto y traducirlo a varios idiomas, lo que resulta adecuado para diversos escenarios, como grabaciones de reuniones, comunicación entre varios idiomas, etc.

Lista de funciones

• Voz a texto en tiempo real: con OpenAI Susurro Permite una eficaz función de voz a texto.
• Traducción en tiempo real: admite la traducción del texto transcrito a 200 idiomas, utilizando el modelo NLLB-200 de Meta.
• Difusión multicliente: Difunda contenidos transcritos y traducidos en tiempo real a clientes suscritos a través de Supabase Realtime.
• Funcionamiento local: No se requiere soporte de servidor, todas las operaciones se realizan localmente en el navegador.
• Despliegue sencillo: admite la ejecución local y el despliegue en páginas de GitHub.

Utilizar la ayuda

Instalación y funcionamiento

1. funcionamiento local::
   • Almacén de clonación:git clone https://github.com/supabase-community/babelfish.ai.git
   • Vaya al catálogo de proyectos:cd babelfish.ai
   • Copie el archivo de variables de entorno:cp .env.local.example .env.local
   • Configuración de las credenciales de Supabase: En la ventana .env.local Introduzca sus credenciales de Supabase en el archivo.
   • Instale la dependencia:npm install
   • Ejecute el servidor de desarrollo:npm run dev
   • Abra su navegador para acceder a http://localhost:3000 Disponible.
2. Despliegue en páginas de GitHub::
   • Configura tus secretos en los ajustes de tu repositorio de GitHub.
   • Empuje el código a la main GitHub Actions se despliega automáticamente en GitHub Pages.

Funciones de uso

1. conversión de voz a texto en tiempo real::
   • Tras abrir la aplicación, haz clic en el botón "Iniciar transcripción".
   • Permite que el navegador acceda al micrófono y empieza a hablar.
   • Los contenidos de voz se muestran como texto en tiempo real.
2. traducción en tiempo real::
   • Durante el proceso de transcripción, se selecciona la lengua de destino.
   • El texto transcrito se traduce automáticamente al idioma seleccionado y se muestra en la interfaz.
3. Difusión multicliente::
   • Los clientes suscritos pueden recibir contenidos transcritos y traducidos a través de Supabase Realtime.
   • Abre la aplicación en otro dispositivo e inicia sesión en la misma cuenta de Supabase para sincronizar los contenidos que recibes.

Configuración avanzada

• Modelos personalizados: se encuentran en la translationWorker.js se sustituye por otro modelo de traducción compatible.
• Personalización de la interfazModificación index.html responder cantando src Las fichas del catálogo pueden personalizarse con interfaces y funciones de aplicación.