Babelfish.ai：ブラウザで動作するリアルタイム音声書き起こし翻訳アプリケーション

はじめに

Babelfish.aiは、Huggingface Transformer.jsとSupabase Realtimeで構築されたリアルタイム音声翻訳アプリケーションです。このアプリケーションは、ブラウザに大きなモデルを読み込んでローカルで実行することができ、リアルタイムの音声テキスト変換と翻訳機能を可能にします。ユーザーは簡単な設定と操作で、音声コンテンツを素早くテキストに書き起こしたり、多言語に翻訳したりすることができ、会議の録音や言語を超えたコミュニケーションなど、様々なシナリオに適している。

機能一覧

• リアルタイムテキスト読み上げ：OpenAI Whisperによる効率的なテキスト読み上げ機能。
• リアルタイム翻訳：MetaのNLLB-200モデルを使用して、書き起こされたテキストの200言語への翻訳をサポートします。
• マルチクライアント・ブロードキャスト：Supabase Realtimeを通じて、登録したクライアントにリアルタイムで書き起こし、翻訳したコンテンツをブロードキャストします。
• ローカル操作：サーバーのサポートは必要なく、すべての操作はブラウザでローカルに行われる。
• 簡単なデプロイ：ローカルでの実行とGitHub Pagesへのデプロイをサポート。

ヘルプの使用

インストールと操作

1. ローカルオペレーション::
   • クローン倉庫git clone https://github.com/supabase-community/babelfish.ai.git
   • プロジェクト・カタログにアクセスする：cd babelfish.ai
   • 環境変数ファイルをコピーする：cp .env.local.example .env.local
   • Supabase 認証情報の設定 .env.local Supabase の認証情報をファイルに記入する。
   • 依存関係をインストールします：npmインストール
   • 開発サーバーを実行する：npm run dev
   • ブラウザを開いてアクセスする http://localhost:3000 利用できる。
2. GitHubページにデプロイする::
   • GitHub リポジトリの設定でシークレットを設定します。
   • コードを メイン ブランチでは、GitHub Actions は自動的に GitHub Pages にデプロイされます。

使用機能

1. リアルタイム音声テキスト変換::
   • アプリを開いたら、「テープ起こし開始」ボタンをクリックします。
   • ブラウザがマイクにアクセスできるようにし、通話を開始する。
   • 音声コンテンツはリアルタイムでテキストとして表示される。
2. リアルタイム翻訳::
   • テープ起こしの過程で、ターゲット言語が選択される。
   • 書き起こされたテキストは自動的に選択された言語に翻訳され、インターフェイスに表示される。
3. マルチクライアント放送::
   • 定期購読のお客様は、Supabase Realtimeを通じて、テープ起こしや翻訳されたコンテンツを受け取ることができます。
   • 別のデバイスでアプリを開き、同じSupabaseアカウントにログインすると、受信したコンテンツが同期されます。

詳細設定

• カスタムモデルにあります。 翻訳Worker.js は、サポートされている別の翻訳モデルに置き換えられます。
• インターフェイスのカスタマイズ修正 インデックス.html 歌で応える ソース カタログのファイルは、アプリケーション・インターフェースや機能でカスタマイズすることができます。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る