TransRouter: инструмент преобразования аудио в реальном времени для перевода с китайского на английский на основе мультимодальной модели Gemini

Общее введение

TransRouter - это Google Близнецы TransRouter - это инструмент голосового перевода в реальном времени для больших моделей, разработанный специально для голосового перевода в реальном времени между английским и китайским языками. TransRouter легко интегрируется в программное обеспечение для видеоконференций, такое как Zoom, и использует технологию потоковой обработки для обеспечения низкой задержки в процессе перевода, а также обладает функцией автоматического синтеза речи. Система может не только обрабатывать аудиосигналы в режиме реального времени, но и автоматически сохранять исходную запись и синтезированный звук для последующего просмотра и записи. Проект полностью с открытым исходным кодом, разработан на языке Python и отличается хорошей масштабируемостью и настраиваемостью.

Список функций

• Осуществляйте двусторонний голосовой перевод в режиме реального времени с китайского на английский
• Поддерживает бесшовную интеграцию с ведущим программным обеспечением для проведения конференций, таким как Zoom
• Высококачественные переводы с использованием макромодели Google Gemini
• Обеспечивает обработку потокового аудио с низкой задержкой
• Автоматический вывод синтеза речи
• Поддержка автоматического сохранения оригинальных записей и переведенных аудиозаписей
• Обеспечьте полную систему протоколирования
• Поддержка маршрутизации виртуальных аудиоустройств
• Настраиваемые параметры входного и выходного аудиосигнала

Использование помощи

Подготовка системной среды

1. Основные экологические требования:
   • Python 3.8 или выше
   • Операционная система macOS
   • Стабильное сетевое соединение
   • Интернет-компания Google Gemini API ключи
2. Настройка аудиоустройства:
   • Установите виртуальное аудиоустройство BlackHole:

     brew install blackhole-2ch
     

   • Настройте аудиоустройства в разделе "Системные настройки":
     • Откройте "Системные настройки > Звук".
     • Убедитесь, что устройство BlackHole 2ch правильно идентифицировано
     • Настройка устройств ввода и вывода по умолчанию

Этапы установки

1. Хранилище проектов клонирования:

   git clone https://github.com/notedit/TransRouter.git
   cd TransRouter
   

2. Создайте и активируйте виртуальную среду:

   python -m venv venv
   source venv/bin/activate  # macOS
   

3. Установите пакеты зависимостей:

   pip install -r requirements.txt
   

4. Настройте переменные окружения:
   • сделать копию .env.example файл .env
   • существовать .env файл, чтобы установить ключ API Gemini:

     GEMINI_API_KEY=your_gemini_api_key
     

Руководство по настройке Zoom

1. Откройте панель настроек масштабирования
2. Перейдите к опции "Настройки звука".
3. Установка микрофона в качестве устройства по умолчанию в системе
4. Установите для динамиков режим "BlackHole 2ch".

Инструкция по применению

1. Начните процедуру:

   python transrouter.py
   

2. Программа выполняется автоматически:
   • Инициализация аудиоустройства
   • Установление соединения с Google Gemini
   • Запуск захвата и обработки звука
3. Управление документами:
   • Файлы записи сохраняются в recordings каталог (на жестком диске компьютера)
   • Синтезированный переведенный звук сохраняется в файле synthesis каталог (на жестком диске компьютера)
   • Журнал выполнения сохраняется в logs каталог (на жестком диске компьютера)
4. Оперативный контроль:
   • Информация о состоянии отображается в режиме реального времени во время выполнения программы
   • Нажмите Ctrl+C, чтобы безопасно остановить программу.
   • Автоматическое сохранение всех аудиофайлов при остановке

устранение неисправностей

1. Проблемы с аудиооборудованием:
   • Убедитесь, что BlackHole правильно установлен и настроен
   • Проверка состояния идентификации устройства в системных настройках звука
   • Проверка конфигурации параметров звука Zoom
2. Проблемы перевода:
   • Убедитесь в стабильности сетевого подключения
   • Убедитесь, что ключ API настроен правильно
   • Просмотр файлов журнала для получения подробных сообщений об ошибках