Babelfish.ai: приложение для транскрипции и перевода речи в реальном времени, запускаемое через браузер

Общее введение

Babelfish.ai - это приложение на основе Huggingface. ТрансформаторПриложение для транскрипции и перевода в реальном времени, созданное на основе .js и Supabase Realtime. Приложение может загружать большие модели в браузере и запускаться локально для выполнения функций перевода речи в текст и перевода в реальном времени. Благодаря простой настройке и эксплуатации пользователи могут быстро транскрибировать голосовой контент в текст и переводить его на несколько языков, что подходит для различных сценариев, таких как запись встреч, межъязыковое общение и так далее.

Список функций

• Передача речи в текст в реальном времени: использование OpenAI Шепот Обеспечивает эффективную функцию преобразования речи в текст.
• Перевод в режиме реального времени: поддержка перевода транскрибированного текста на 200 языков с использованием модели NLLB-200 компании Meta.
• Трансляция на несколько клиентов: транскрибированный и переведенный контент транслируется в режиме реального времени на подписанных клиентов через Supabase Realtime.
• Локальная работа: поддержка сервера не требуется, все операции выполняются локально в браузере.
• Простое развертывание: поддерживает локальный запуск и развертывание на GitHub Pages.

Использование помощи

Установка и эксплуатация

1. локальная операция::
   • Хранилище клонирования:git clone https://github.com/supabase-community/babelfish.ai.git
   • Перейдите в каталог проектов:cd babelfish.ai
   • Скопируйте файл переменной среды:cp .env.local.example .env.local
   • Настройка учетных данных Supabase: В разделе .env.local Введите в файл учетные данные Supabase.
   • Установите зависимость:npm install
   • Запустите сервер разработки:npm run dev
   • Откройте браузер, чтобы получить доступ к http://localhost:3000 Доступно.
2. Развертывание на страницах GitHub::
   • Настройте секреты в настройках репозитория GitHub.
   • Введите код в main ветвь, GitHub Actions автоматически развертывается на GitHub Pages.

Функции использования

1. преобразование речи в текст в режиме реального времени::
   • Открыв приложение, нажмите кнопку "Начать транскрипцию".
   • Разрешите браузеру доступ к микрофону и начните говорить.
   • Голосовой контент отображается в виде текста в режиме реального времени.
2. перевод в реальном времени::
   • В процессе транскрибирования выбирается целевой язык.
   • Записанный текст автоматически переводится на выбранный язык и отображается в интерфейсе.
3. Многоклиентское вещание::
   • Клиенты по подписке могут получать транскрибированный и переведенный контент через Supabase Realtime.
   • Откройте приложение на другом устройстве и войдите в ту же учетную запись Supabase, чтобы синхронизировать получаемый контент.

Дополнительные настройки

• Пользовательские модели: можно найти в translationWorker.js заменяется другой поддерживаемой моделью перевода.
• Настройка интерфейса: Модификация index.html ответить пением src Файлы в каталоге можно настраивать с помощью интерфейсов и функций приложений.