Babelfish.ai: Browsergestützte Echtzeit-Sprachtranskriptions- und Übersetzungsanwendung

Allgemeine Einführung

Babelfish.ai ist eine auf Huggingface basierende TransformatorEine Echtzeit-Transkriptions- und Übersetzungsanwendung, die mit .js und Supabase Realtime erstellt wurde. Die Anwendung kann große Modelle in den Browser laden und lokal ausführen, um Sprach-zu-Text- und Übersetzungsfunktionen in Echtzeit zu realisieren. Mit einer einfachen Einrichtung und Bedienung können Benutzer schnell Sprachinhalte in Text transkribieren und in mehrere Sprachen übersetzen, was sich für eine Vielzahl von Szenarien eignet, z. B. für die Aufzeichnung von Besprechungen, die sprachübergreifende Kommunikation und so weiter.

Funktionsliste

• Sprache zu Text in Echtzeit: mit OpenAI Flüstern Ermöglicht eine effiziente Sprache-zu-Text-Funktionalität.
• Echtzeit-Übersetzung: Unterstützt die Übersetzung von transkribiertem Text in 200 Sprachen, unter Verwendung des NLLB-200-Modells von Meta.
• Mandantenfähiges Broadcasting: Transkribierte und übersetzte Inhalte werden über Supabase Realtime in Echtzeit an abonnierte Mandanten übertragen.
• Lokaler Betrieb: Es ist keine Serverunterstützung erforderlich, alle Operationen werden lokal im Browser durchgeführt.
• Einfaches Deployment: Unterstützt die lokale Ausführung und das Deployment auf GitHub Pages.

Hilfe verwenden

Installation und Betrieb

1. lokaler Betrieb::
   • Klon-Lagerhaus:git clone https://github.com/supabase-community/babelfish.ai.git
   • Rufen Sie den Projektkatalog auf:cd babelfish.ai
   • Kopieren Sie die Datei mit den Umgebungsvariablen:cp .env.local.example .env.local
   • Einstellen der Supabase Credentials: In der .env.local Geben Sie Ihre Supabase-Anmeldedaten in die Datei ein.
   • Installieren Sie die Abhängigkeit:npm install
   • Starten Sie den Entwicklungsserver:npm run dev
   • Öffnen Sie Ihren Browser, um auf http://localhost:3000 Verfügbar.
2. Auf GitHub Pages bereitstellen::
   • Konfigurieren Sie Ihre Geheimnisse in den Einstellungen Ihres GitHub-Repositorys.
   • Übertragen Sie den Code in die main Zweig wird GitHub Actions automatisch auf GitHub Pages bereitgestellt.

Verwendungsfunktionen

1. Umwandlung von Sprache in Text in Echtzeit::
   • Nachdem Sie die App geöffnet haben, klicken Sie auf die Schaltfläche "Transkription starten".
   • Erlauben Sie dem Browser den Zugriff auf das Mikrofon und beginnen Sie zu sprechen.
   • Sprachinhalte werden in Echtzeit als Text angezeigt.
2. Echtzeit-Übersetzung::
   • Während des Transkriptionsprozesses wird die Zielsprache ausgewählt.
   • Der transkribierte Text wird automatisch in die ausgewählte Sprache übersetzt und auf der Benutzeroberfläche angezeigt.
3. Mandantenübergreifende Übertragungen::
   • Abonnementkunden können transkribierte und übersetzte Inhalte über Supabase Realtime erhalten.
   • Öffnen Sie die App auf einem anderen Gerät und melden Sie sich mit demselben Supabase-Konto an, um die empfangenen Inhalte zu synchronisieren.

Erweiterte Einstellungen

• Kundenspezifische Modelle: zu finden in der translationWorker.js wird durch ein anderes unterstütztes Übersetzungsmodell ersetzt.
• Anpassung der SchnittstelleModifikation index.html im Gesang antworten src Die Dateien im Katalog können mit Anwendungsschnittstellen und Funktionen angepasst werden.