Babelfish.ai : application de transcription et de traduction de la parole en temps réel exécutée par un navigateur

Introduction générale

Babelfish.ai est un logiciel basé sur Huggingface. TransformateurUne application de transcription et de traduction en temps réel construite avec .js et Supabase Realtime. L'application peut charger de grands modèles dans le navigateur et s'exécuter localement pour réaliser des fonctions de traduction et de conversion de la parole en texte en temps réel. Grâce à une configuration et une utilisation simples, les utilisateurs peuvent rapidement transcrire le contenu vocal en texte et le traduire en plusieurs langues, ce qui convient à une variété de scénarios, tels que les enregistrements de réunions, la communication interlinguistique, etc.

Liste des fonctions

• Conversion de la parole en texte en temps réel : utilisation d'OpenAI Chuchotement Permet une fonctionnalité efficace de conversion de la parole en texte.
• Traduction en temps réel : permet de traduire un texte transcrit en 200 langues, en utilisant le modèle NLLB-200 de Meta.
• Diffusion multi-clients : Diffusion de contenus transcrits et traduits en temps réel aux clients abonnés via Supabase Realtime.
• Fonctionnement local : aucun support de serveur n'est nécessaire, toutes les opérations sont effectuées localement dans le navigateur.
• Déploiement facile : Prise en charge de l'exécution locale et du déploiement sur les pages GitHub.

Utiliser l'aide

Installation et fonctionnement

1. opération locale: :
   • Entrepôt de clonage :git clone https://github.com/supabase-community/babelfish.ai.git
   • Accédez au catalogue de projets :cd babelfish.ai
   • Copiez le fichier de la variable d'environnement :cp .env.local.example .env.local
   • Définition des informations d'identification de Supabase : Dans la fenêtre .env.local Remplissez les informations d'identification de Supabase dans le fichier.
   • Installer la dépendance :npm install
   • Exécutez le serveur de développement :npm run dev
   • Ouvrez votre navigateur pour accéder à http://localhost:3000 Disponible.
2. Déployer vers les pages GitHub: :
   • Configurez vos secrets dans les paramètres de votre dépôt GitHub.
   • Introduire le code dans le main GitHub Actions est automatiquement déployé dans GitHub Pages.

Fonctions d'utilisation

1. conversion de la parole en texte en temps réel: :
   • Après avoir ouvert l'application, cliquez sur le bouton "Commencer la transcription".
   • Autorisez le navigateur à accéder au microphone et commencez à parler.
   • Le contenu vocal est affiché sous forme de texte en temps réel.
2. traduction en temps réel: :
   • Pendant le processus de transcription, la langue cible est sélectionnée.
   • Le texte transcrit est automatiquement traduit dans la langue sélectionnée et affiché sur l'interface.
3. Diffusion multi-clients: :
   • Les clients abonnés peuvent recevoir des contenus transcrits et traduits via Supabase Realtime.
   • Ouvrez l'application sur un autre appareil et connectez-vous au même compte Supabase pour synchroniser le contenu que vous recevez.

Paramètres avancés

• Modèles personnalisés: on peut les trouver dans le site web de l translationWorker.js est remplacé par un autre modèle de traduction pris en charge.
• Personnalisation de l'interfaceModification de la loi sur la protection des données index.html répondre en chantant src Les fichiers du catalogue peuvent être personnalisés avec des interfaces d'application et des fonctionnalités.