TransRouter : un outil de conversion audio en temps réel pour la traduction du chinois vers l'anglais basé sur le modèle multimodal Gemini

Introduction générale

TransRouter est un logiciel de Google Gémeaux TransRouter est un outil de traduction vocale en temps réel pour les grands modèles, conçu spécifiquement pour la traduction vocale en temps réel entre l'anglais et le chinois. Intégré de manière transparente dans les logiciels de vidéoconférence tels que Zoom, TransRouter utilise la technologie de traitement en continu pour garantir une faible latence dans le processus de traduction, et dispose d'une synthèse vocale automatique. Le système peut non seulement traiter les signaux audio en temps réel, mais aussi sauvegarder automatiquement l'enregistrement original et l'audio synthétisé en vue d'une révision et d'un enregistrement ultérieurs. Le projet est entièrement open source, développé en Python, avec une bonne évolutivité et une bonne personnalisation.

Liste des fonctions

• Réaliser une traduction vocale bidirectionnelle en temps réel entre le chinois et l'anglais
• Intégration transparente avec les principaux logiciels de conférence tels que Zoom
• Des traductions de haute qualité grâce au macromodèle Google Gemini
• Traitement des flux audio à faible latence
• Synthèse vocale automatique
• Prise en charge de l'enregistrement automatique des enregistrements originaux et des traductions audio
• Fournir un système d'enregistrement complet
• Prise en charge du routage des périphériques audio virtuels
• Paramètres d'entrée et de sortie audio configurables

Utiliser l'aide

Préparation de l'environnement du système

1. Exigences environnementales de base :
   • Python 3.8 ou supérieur
   • Système d'exploitation macOS
   • Connexion réseau stable
   • Google Société Internet API Gemini clés
2. Configuration de l'appareil audio :
   • Installez le périphérique audio virtuel BlackHole :

     brew install blackhole-2ch
     

   • Configurez les périphériques audio dans les préférences du système :
     • Ouvrez "Préférences système > Son".
     • Vérifier que l'appareil BlackHole 2ch est correctement identifié
     • Configuration des périphériques d'entrée et de sortie par défaut

Étapes de l'installation

1. Clonage de l'entrepôt de projets :

   git clone https://github.com/notedit/TransRouter.git
   cd TransRouter
   

2. Créer et activer un environnement virtuel :

   python -m venv venv
   source venv/bin/activate  # macOS
   

3. Installer les paquets de dépendances :

   pip install -r requirements.txt
   

4. Configurer les variables d'environnement :
   • faire une copie de .env.example est .env
   • existent .env pour définir la clé de l'API Gemini :

     GEMINI_API_KEY=your_gemini_api_key
     

Guide de configuration de Zoom

1. Ouvrir le panneau de configuration du zoom
2. Accédez à l'option Paramètres audio
3. Définir le microphone comme périphérique par défaut du système
4. Réglez les enceintes sur "BlackHole 2ch"

Mode d'emploi

1. Lancer la procédure :

   python transrouter.py
   

2. Le programme se déroule automatiquement :
   • Initialisation d'un périphérique audio
   • Établir une connexion avec Google Gemini
   • Lancer la capture et le traitement audio
3. Gestion des documents :
   • Les fichiers d'enregistrement sont sauvegardés dans le recordings répertoire (sur le disque dur de l'ordinateur)
   • L'audio traduit synthétisé est enregistré dans le fichier synthesis répertoire (sur le disque dur de l'ordinateur)
   • Le journal d'exécution est enregistré dans le fichier logs répertoire (sur le disque dur de l'ordinateur)
4. Contrôles opérationnels :
   • Des informations sur l'état en temps réel sont affichées pendant le déroulement du programme
   • Appuyez sur Ctrl+C pour arrêter le programme en toute sécurité.
   • Sauvegarde automatique de tous les fichiers audio à l'arrêt

résolution des problèmes

1. Questions relatives à l'équipement audio :
   • S'assurer que BlackHole est correctement installé et configuré
   • Vérification de l'état de l'identification de l'appareil dans les paramètres audio du système
   • Vérification de la configuration des paramètres audio de Zoom
2. Problèmes de traduction :
   • Confirmer la stabilité de la connexion réseau
   • Vérifier que la clé API est correctement configurée
   • Consulter les fichiers journaux pour obtenir des messages d'erreur détaillés