TransRouter: ein Echtzeit-Audio-Konvertierungstool für die Übersetzung vom Chinesischen ins Englische auf der Grundlage des multimodalen Gemini-Modells

Allgemeine Einführung

TransRouter ist ein Google Zwillinge TransRouter ist ein Echtzeit-Sprachübersetzungstool für große Modelle, das speziell für die Echtzeit-Sprachübersetzung zwischen Englisch und Chinesisch entwickelt wurde. TransRouter lässt sich nahtlos in Videokonferenzsoftware wie Zoom integrieren und nutzt die Streaming-Verarbeitungstechnologie, um eine geringe Latenzzeit im Übersetzungsprozess zu gewährleisten, und bietet eine automatische Sprachsynthese. Das System kann nicht nur Audiosignale in Echtzeit verarbeiten, sondern auch automatisch die Originalaufnahme und die synthetisierten Audiosignale zur späteren Überprüfung und Aufzeichnung speichern. Das Projekt ist vollständig quelloffen, wurde in Python entwickelt und bietet eine gute Skalierbarkeit und Anpassungsfähigkeit.

Funktionsliste

• Realisieren Sie eine bidirektionale Echtzeit-Sprachübersetzung zwischen Chinesisch und Englisch
• Unterstützt die nahtlose Integration mit führender Konferenzsoftware wie Zoom
• Hochwertige Übersetzungen mit dem Google-Gemini-Makromodell
• Bietet Streaming-Audio-Verarbeitung mit niedriger Latenz
• Automatische Sprachsyntheseausgabe
• Unterstützt das automatische Speichern von Originalaufnahmen und übersetztem Audio
• Bereitstellung eines vollständigen Protokollierungssystems
• Unterstützt das Routing virtueller Audiogeräte
• Konfigurierbare Audioeingangs- und -ausgangsparameter

Hilfe verwenden

Vorbereitung der Systemumgebung

1. Grundlegende Umweltanforderungen:
   • Python 3.8 oder höher
   • macOS-Betriebssystem
   • Stabile Netzwerkverbindung
   • Google Internet-Unternehmen Zwillings-API Tasten
2. Konfiguration der Audiogeräte:
   • Installieren Sie das virtuelle BlackHole-Audiogerät:

     brew install blackhole-2ch
     

   • Konfigurieren Sie die Audiogeräte in den Systempräferenzen:
     • Öffnen Sie "Systempräferenzen > Ton".
     • Überprüfen Sie, ob das BlackHole 2ch-Gerät korrekt identifiziert wurde
     • Konfigurieren der Standard-Eingabe- und Ausgabegeräte

Installationsschritte

1. Klonen des Projektlagers:

   git klonen. https://github.com/notedit/TransRouter.git
   cd TransRouter
   

2. Erstellen und aktivieren Sie eine virtuelle Umgebung:

   python -m venv venv
   Quelle venv/bin/aktivieren  # macOS
   

3. Installieren Sie die Abhängigkeitspakete:

   pip install -r anforderungen.txt
   

4. Konfigurieren Sie die Umgebungsvariablen:
   • eine Kopie machen von .env.example Datei ist .env
   • existieren .env Datei, um den Gemini-API-Schlüssel festzulegen:

     GEMINI_API_KEY=Ihr_gemini_api_Schlüssel
     

Zoom-Konfigurationsanleitung

1. Öffnen Sie das Einstellungsfeld Zoom
2. Gehen Sie zur Option Audioeinstellungen
3. Einstellen des Mikrofons als Standardgerät des Systems
4. Stellen Sie die Lautsprecher auf "BlackHole 2ch" ein.

Anweisungen für den Gebrauch

1. Leiten Sie das Verfahren ein:

   python transrouter.py
   

2. Das Programm läuft automatisch ab:
   • Initialisierung eines Audiogeräts
   • Herstellen einer Verbindung zu Google Gemini
   • Audioaufnahme und -verarbeitung starten
3. Verwaltung von Dokumenten:
   • Die Aufnahmedateien werden im Verzeichnis Aufnahmen Verzeichnis (auf der Festplatte des Computers)
   • Das synthetisierte und übersetzte Audio wird in der Datei Synthese Verzeichnis (auf der Festplatte des Computers)
   • Das Laufzeitprotokoll wird in der Datei Protokolle Verzeichnis (auf der Festplatte des Computers)
4. Operative Kontrollen:
   • Echtzeit-Statusinformationen werden angezeigt, während das Programm läuft
   • Drücken Sie Strg+C, um das Programm sicher zu beenden.
   • Speichert automatisch alle Audiodateien, wenn sie angehalten werden

Fehlerbehebung

1. Probleme mit der Audioausrüstung:
   • Stellen Sie sicher, dass BlackHole richtig installiert und konfiguriert ist
   • Überprüfen des Status der Geräteidentifikation in den Audioeinstellungen des Systems
   • Überprüfen der Konfiguration der Audioeinstellungen von Zoom
2. Übersetzungsprobleme:
   • Bestätigen Sie eine stabile Netzwerkverbindung
   • Überprüfen Sie, ob der API-Schlüssel richtig konfiguriert ist
   • Protokolldateien für detaillierte Fehlermeldungen anzeigen