TransRouter: uma ferramenta de conversão de áudio em tempo real para tradução de chinês para inglês com base no modelo multimodal Gemini

Introdução geral

O TransRouter é um aplicativo do Google Gêmeos O TransRouter é uma ferramenta de tradução de voz em tempo real para modelos grandes, projetada especificamente para a tradução de voz em tempo real entre inglês e chinês. Perfeitamente integrado ao software de videoconferência, como o Zoom, o TransRouter emprega tecnologia de processamento de streaming para garantir baixa latência no processo de tradução e apresenta síntese automática de voz. O sistema pode não apenas processar sinais de áudio em tempo real, mas também salvar automaticamente a gravação original e o áudio sintetizado para revisão e gravação posteriores. O projeto é totalmente de código aberto, desenvolvido em Python, com boa escalabilidade e capacidade de personalização.

Lista de funções

• Realize tradução de voz bidirecional em tempo real entre chinês e inglês
• Oferece suporte à integração perfeita com os principais softwares de conferência, como o Zoom
• Traduções de alta qualidade usando o macromodelo do Google Gemini
• Oferece processamento de áudio de streaming de baixa latência
• Saída de síntese automática de fala
• Suporta o salvamento automático de gravações originais e áudio traduzido
• Fornecer um sistema de registro completo
• Suporte ao roteamento de dispositivos de áudio virtuais
• Parâmetros configuráveis de entrada e saída de áudio

Usando a Ajuda

Preparação do ambiente do sistema

1. Requisitos ambientais básicos:
   • Python 3.8 ou superior
   • Sistema operacional macOS
   • Conexão de rede estável
   • Empresa de Internet Google API Gemini chaves
2. Configuração do dispositivo de áudio:
   • Instale o dispositivo de áudio virtual BlackHole:

     brew install blackhole-2ch
     

   • Configure os dispositivos de áudio em Preferências do Sistema:
     • Abra "Preferências do sistema > Som".
     • Verifique se o dispositivo BlackHole 2ch está identificado corretamente
     • Configuração dos dispositivos de entrada e saída padrão

Etapas de instalação

1. Clonagem do Project Warehouse:

   git clone https://github.com/notedit/TransRouter.git
   cd TransRouter
   

2. Criar e ativar um ambiente virtual:

   python -m venv venv
   fonte venv/bin/activate  # macOS
   

3. Instale os pacotes de dependência:

   pip install -r requirements.txt
   

4. Configurar variáveis de ambiente:
   • fazer uma cópia de .env.example arquivo é .env
   • existir .env para definir a chave da API do Gemini:

     GEMINI_API_KEY=sua chave_gemini_api
     

Guia de configuração do Zoom

1. Abra o painel de configurações do Zoom
2. Vá para a opção Audio Settings (Configurações de áudio)
3. Definir o microfone como o dispositivo padrão do sistema
4. Defina os alto-falantes como "BlackHole 2ch"

Instruções de uso

1. Iniciar o procedimento:

   python transrouter.py
   

2. O programa é executado automaticamente:
   • Inicialização de um dispositivo de áudio
   • Estabelecimento de uma conexão com o Google Gemini
   • Iniciar a captura e o processamento de áudio
3. Gerenciamento de documentos:
   • Os arquivos de gravação são salvos no registros diretório (no disco rígido do computador)
   • O áudio traduzido sintetizado é salvo no arquivo síntese diretório (no disco rígido do computador)
   • O registro de tempo de execução é salvo na pasta registros diretório (no disco rígido do computador)
4. Controles operacionais:
   • As informações de status em tempo real são exibidas durante a execução do programa
   • Pressione Ctrl+C para interromper o programa com segurança.
   • Salva automaticamente todos os arquivos de áudio quando interrompido

resolução de falhas

1. Problemas com equipamentos de áudio:
   • Verifique se o BlackHole está instalado e configurado corretamente
   • Verificação do status da identificação do dispositivo nas configurações de áudio do sistema
   • Verificação da configuração das definições de áudio do Zoom
2. Problemas de tradução:
   • Confirmar conexão de rede estável
   • Verifique se a chave da API está configurada corretamente
   • Exibir arquivos de registro para mensagens de erro detalhadas