SoniTranslate: Open-Source-Videoübersetzungs-Synchronisationslösung, Mehrfachsynchronisation, Geschwindigkeitsanpassung und Nachahmung des Originaltons

Allgemeine Einführung

SoniTranslate ist ein leistungsstarkes und benutzerfreundliches Tool für die mehrsprachige Synchronisation von Videos, das eine Lösung für die Übersetzung von Videos und die Synchronisierung von Audio bietet. Es nutzt fortschrittliche Spracherkennungs- und maschinelle Übersetzungstechnologien, um Videoinhalte in mehrere Sprachen zu übersetzen und den Ton zu synchronisieren. Das Projekt basiert auf der Gradio-Bibliothek und bietet eine benutzerfreundliche Weboberfläche mit Unterstützung für mehrere Sprachen und mehrere Ausgabeformate für Inhaltsersteller und Benutzer, die mehrsprachige Videoübersetzung benötigen.

Colab Notizbuch: https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

Online-Demo: https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

Funktionsliste

• VideoübersetzungÜbersetzen von Videoinhalten in mehrere Sprachen.
• synchronisiertes Audio: Synchronisieren Sie den übersetzten Ton mit dem Video.
• Unterstützung mehrerer SprachenÜbersetzung: Unterstützung für über 80 Sprachen.
• Untertitel GenerationAutomatische Generierung von übersetzten Untertiteldateien.
• SprachsubstitutionTTS: Ersetzt die Originalsprache im Video durch ein TTS-Modell.
• benutzerfreundliche SchnittstelleEinfach zu bedienende Weboberfläche, die auf der Gradio-Bibliothek basiert.
• Mehrere AusgabeformateDie Ausgabe der Formate MP3, MP4, MKV, WAV und OGG wird unterstützt.

Hilfe verwenden

Einbauverfahren

1. Vorbereiten der UmgebungVergewissern Sie sich, dass die NVIDIA Treiber und CUDA 11.8.0 installiert sind.
2. FFmpeg installierenFür die Verarbeitung von Video- und Audiodateien.
3. SoniTranslate installieren::
   • Klonen Sie ein GitHub-Repository:git clone https://github.com/R3gm/SoniTranslate.git
   • Rufen Sie den Projektkatalog auf:cd SoniTranslate
   • Erstellen und aktivieren Sie eine Conda-Umgebung:conda create -n sonitr python=3.8(math.) Gattungconda activate sonitr
   • Installieren Sie die Abhängigkeit:pip install -r requirements.txt
4. Ausführen der Anwendung::
   • Starten Sie die Anwendung:python app_rvc.py
   • Öffnen Sie Ihren Browser, um auf die lokale URL zuzugreifen: http://127.0.0.1:7860

Verwendungsprozess

1. Video hochladenHochladen der zu übersetzenden Videodatei in die Weboberfläche.
2. Sprache auswählenAuswahl der Zielsprache für die Übersetzung.
3. Optionen zur KonfigurationKonfigurieren Sie Optionen wie Untertitelgenerierung, Sprachsynthese usw. nach Bedarf.
4. Übersetzung beginnenKlicken Sie auf die Schaltfläche "Übersetzung starten" und warten Sie, bis die Übersetzung abgeschlossen ist.
5. Ergebnisse herunterladenDownloaden Sie die übersetzte Video-, Audio- oder Untertiteldatei, wenn die Übersetzung abgeschlossen ist.

Detaillierte Schritte

1. Video hochladenKlicken Sie auf die Schaltfläche "Video hochladen", um eine lokale Videodatei zum Hochladen auszuwählen.
2. Sprache auswählenWählen Sie im Dropdown-Menü "Zielsprache" die zu übersetzende Sprache aus.
3. Optionen zur Konfiguration::
   • Untertitel GenerationAktivieren Sie die Option "Untertitel generieren". Das System generiert dann automatisch die übersetzten Untertiteldateien.
   • SprachsubstitutionWenn Sie die Option "Sprachersetzung" aktivieren, ersetzt das System die Originalstimme im Video durch das TTS-Modell.
4. Übersetzung beginnenKlicken Sie auf die Schaltfläche "Übersetzung starten" und das System beginnt mit der Verarbeitung und Übersetzung des Videos.
5. Fortschritte anzeigenÜberprüfen Sie den aktuellen Übersetzungsfortschritt in der Spalte "Übersetzungsfortschritt" und warten Sie, bis die Übersetzung abgeschlossen ist.
6. Ergebnisse herunterladenSobald die Übersetzung abgeschlossen ist, klicken Sie auf die Schaltfläche "Herunterladen", wählen das gewünschte Ausgabeformat (MP3, MP4, MKV, WAV oder OGG) und laden die resultierende Datei herunter.