Babelfish.ai: 브라우저에서 실행되는 실시간 음성 전사 및 번역 애플리케이션

일반 소개

Babelfish.ai는 허깅페이스 기반의 트랜스포머.js 및 Supabase Realtime으로 구축된 실시간 전사 및 번역 애플리케이션입니다. 이 애플리케이션은 브라우저에서 대용량 모델을 로드하고 로컬에서 실행하여 실시간 음성-텍스트 변환 및 번역 기능을 구현할 수 있습니다. 간단한 설정과 조작으로 사용자는 음성 콘텐츠를 텍스트로 빠르게 전사하고 여러 언어로 번역할 수 있어 회의 녹음, 다국어 커뮤니케이션 등 다양한 시나리오에 적합합니다.

기능 목록

• 실시간 음성 텍스트 변환: OpenAI 사용 Whisper 효율적인 음성-텍스트 변환 기능을 지원합니다.
• 실시간 번역: Meta의 NLLB-200 모델을 사용하여 전사된 텍스트를 200개 언어로 번역할 수 있도록 지원합니다.
• 다중 클라이언트 방송: 전사 및 번역된 콘텐츠는 Supabase Realtime을 통해 구독한 클라이언트에 실시간으로 방송됩니다.
• 로컬 작업: 서버 지원이 필요하지 않으며 모든 작업은 브라우저에서 로컬로 수행됩니다.
• 간편한 배포: 로컬에서 실행하고 GitHub 페이지에 배포할 수 있습니다.

도움말 사용

설치 및 운영

1. 로컬 운영::
   • 복제 창고:git clone https://github.com/supabase-community/babelfish.ai.git
   • 프로젝트 카탈로그로 이동합니다:cd babelfish.ai
   • 환경 변수 파일을 복사합니다:cp .env.local.example .env.local
   • 수파베이스 자격 증명 설정: 수파베이스의 .env.local 파일에 Supabase 자격 증명을 입력합니다.
   • 종속성을 설치합니다:npm install
   • 개발 서버를 실행합니다:npm run dev
   • 브라우저를 열어 액세스 http://localhost:3000 사용 가능.
2. GitHub 페이지에 배포::
   • GitHub 리포지토리 설정에서 비밀 번호를 구성하세요.
   • 코드를 main 브랜치로 설정하면 GitHub 액션이 자동으로 GitHub 페이지에 배포됩니다.

사용 기능

1. 실시간 음성-텍스트 변환::
   • 앱을 연 후 '트랜스크립션 시작' 버튼을 클릭합니다.
   • 브라우저에서 마이크에 액세스하여 대화를 시작할 수 있도록 허용합니다.
   • 음성 콘텐츠는 실시간으로 텍스트로 표시됩니다.
2. 실시간 번역::
   • 전사 과정에서 대상 언어가 선택됩니다.
   • 필사된 텍스트는 선택한 언어로 자동 번역되어 인터페이스에 표시됩니다.
3. 멀티 클라이언트 방송::
   • 구독 고객은 수파베이스 리얼타임을 통해 전사 및 번역된 콘텐츠를 받을 수 있습니다.
   • 다른 기기에서 앱을 열고 동일한 수파베이스 계정에 로그인하면 수신한 콘텐츠를 동기화할 수 있습니다.

고급 설정

• 사용자 지정 모델에서 찾을 수 있습니다. translationWorker.js 은 지원되는 다른 번역 모델로 대체됩니다.
• 인터페이스 사용자 지정수정 : 수정 index.html 노래로 응답 src 카탈로그의 파일은 애플리케이션 인터페이스와 기능으로 사용자 지정할 수 있습니다.