KrillinAI: Mehrsprachiges Globalisierungstool für Videos mit Ein-Klick-Übersetzung und -Synchronisation

Allgemeine Einführung

KrillinAI ist ein Open-Source-Videobearbeitungstool, das sich auf die Nutzung künstlicher Intelligenz konzentriert, um Nutzern bei der Übersetzung von Videos zu helfen und sie automatisch zu synchronisieren. Es kann mit dem Herunterladen von Videos beginnen und mit nur wenigen Klicks fertige Produkte für verschiedene Plattformen erzeugen. Die Entwickler haben den Code kostenlos auf GitHub zur Verfügung gestellt, so dass Benutzer ihn herunterladen und lokal ausführen können. KrillinAI verwendet die Large Language Modelling (LLM)-Technologie, um qualitativ hochwertige Übersetzungen und Untertitel zu erstellen, und unterstützt derzeit Übersetzungen in 56 Sprachen, mit Eingaben in Chinesisch, Englisch, Japanisch und mehr. Es passt auch Videoformate an und passt sich an Plattformen wie YouTube, TikTok und Jieyin an, so dass es sich für Inhaltsersteller eignet, um schnell mehrsprachige Videos zu produzieren.

Funktionsliste

• Video herunterladen und hochladenUnterstützt das Herunterladen von Videos von YouTube, Jitterbug, Bilibili oder das Hochladen von lokalen Dateien.
• Genaue Untertitelerstellung: Verwendung von Flüstern Die Technologie erkennt Sprache und erzeugt äußerst präzise Untertitel.
• Intelligente UntertitelaufteilungSegmentierung von Untertiteln: Die Segmentierung von Untertiteln erfolgt auf natürliche Weise mit Hilfe eines großen Sprachmodells, wobei die semantische Integrität erhalten bleibt.
• professionelle ÜbersetzungÜbersetzung ganzer Absätze, um kontextuelle Konsistenz zu gewährleisten und dem menschlichen Niveau nahe zu kommen.
• Synchronisation und Klonen von Stimmen: Vorausgesetzt CosyVoice von männlichen und weiblichen Synchronstimmen oder laden Sie einen Audio-Klon der Stimme hoch.
• Anpassung des VideoformatsAutomatisches Erzeugen von Videos im Hoch- oder Querformat, die sich an verschiedene Plattformen anpassen.
• Ersetzung der TerminologieUnterstützung der Ersetzung von Vokabeln in spezialisierten Feldern mit einem Mausklick.

Hilfe verwenden

Einbauverfahren

KrillinAI muss lokal installiert werden, um zu laufen, hier sind die detaillierten Schritte:

1. Datei herunterladen
   • Öffnen Sie https://github.com/krillinai/KrillinAI.
   • Klicken Sie auf "Releases" in der oberen rechten Ecke der Seite, um die entsprechende Version für Ihr System (z. B. Windows, macOS) herunterzuladen.
   • Entpacken Sie die Dateien in einen leeren Ordner.
2. Konfiguration der Umgebung
   • Erstellen Sie einen Ordner innerhalb des config Mappe.
   • existieren config Erstellen Sie einen neuen Ordner im Verzeichnis config.toml Dokumentation.
   • Von GitHub's config-example.toml Kopieren Sie den Inhalt nach config.tomlund geben Sie dann die Konfiguration ein.
   • Einfachste Konfiguration: Verwenden Sie nur den OpenAI-Dienst und füllen Sie die folgenden Felder aus:

     [openai]
     apikey = "你的OpenAI API密钥"
     transcription_provider = "openai"
     llm_provider = "openai"
     

   • Wenn ein Proxy oder ein benutzerdefiniertes Modell erforderlich ist, fügen Sie app.proxy vielleicht openai.base_url.
3. laufendes Programm
   • Windows (Computer)Doppelklicken Sie auf die ausführbare Datei, um sie zu starten.
   • macOS: Manuelles Vertrauen ist erforderlich, da es nicht signiert ist:
     • Öffnen Sie ein Terminal und wechseln Sie in das Dateiverzeichnis.
     • Geben Sie den Befehl ein:

       sudo x'attr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
       sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
       ./KrillinAI_1.0.0_macOS_arm64
       

   • Nach dem Start läuft der Dienst unter http://127.0.0.1:8888(Port kann geändert werden).
4. Docker-Bereitstellung (optional)
   • In GitHub's docs/docker.md Detaillierte Schritte anzeigen.
   • Installieren Sie Docker, ziehen Sie das Image und starten Sie es.

Bedienung der Hauptfunktionen

Videoübersetzung und Erstellung von Untertiteln

• umziehen::
  1. Nach dem Start des Dienstes greift der Browser auf die http://127.0.0.1:8888.
  2. Geben Sie den Videolink ein (z.B. https://www.youtube.com/watch?v=xxx) oder eine Datei hochladen.
  3. Wählen Sie die Eingabesprache (z.B. Chinesisch) und die Zielsprache (z.B. Englisch).
  4. Klicken Sie auf "Start" und das Programm erkennt automatisch die Sprache, erstellt Untertitel und übersetzt sie.
• am EndeUntertiteldateien werden im Verzeichnis tasks Mappe.
• zur Kenntnis nehmenWenn der Download fehlschlägt, konfigurieren Sie die cookies.txterscheinen (als etw.) docs/get_cookies.md.

Synchronisierfunktion

• umziehen::
  1. Sobald die Untertitel erstellt sind, klicken Sie auf die Option "Synchronisation".
  2. Wählen Sie eine männliche oder weibliche Stimme für CosyVoice, oder laden Sie ein Audiobeispiel hoch, um die Stimme zu klonen.
  3. Klicken Sie auf "Generieren", und das Programm wird automatisch den Voiceover synthetisieren.
• am EndeVoiceover und Video werden zusammengeführt, um eine neue Datei zu erstellen.
• CharakterisierungSprachübergreifende Synchronisation wird unterstützt, und Tonspuren und Untertitel sind präzise aufeinander abgestimmt.

Anpassung des Videoformats

• umziehen::
  1. Wenn Sie ein Video erstellen, wählen Sie "Querformat" oder "Hochformat".
  2. Klicken Sie auf "Fertig stellen" und das Programm passt die Auflösung und das Untertitel-Layout an.
• am EndeAusgabe von Videos, die an YouTube (Querformat) oder TikTok (Hochformat) angepasst sind.
• auf etw. aufmerksam machenDie Untertitel wechseln automatisch die Zeilen, wenn sie zu lang sind, um ein sauberes Bild zu gewährleisten.

Featured Function Bedienung

Intelligente Untertitelaufteilung

• Das Programm analysiert die Sprache anhand eines umfangreichen Sprachmodells und teilt die Untertitel nach ihrer Semantik auf. So wird beispielsweise ein 10-Sekunden-Dialog in Segmente unterteilt, die auf der Integrität des Satzes und nicht auf einem festen Zeitschnitt basieren.
• Eine manuelle Einrichtung ist nicht erforderlich, die Verarbeitung erfolgt automatisch.

Ersetzung der Terminologie

• umziehen::
  1. existieren config.toml Fügen Sie eine Ersetzungsregel wie z.B.:

     [custom_vocab]
     "AI" = "人工智能"
     "LLM" = "大语言模型"
     

  2. Starten Sie das Programm neu und ersetzen Sie es automatisch beim Übersetzen.
• verwenden.: Geeignet für Bereiche wie Technik, Bildung usw., um eine genaue Terminologie zu gewährleisten.

Sound-Klonen

• umziehen::
  1. Laden Sie ein 10-30 Sekunden langes Audiobeispiel in den Voiceover-Bildschirm hoch.
  2. Wählen Sie "Ton klonen" und das Programm erzeugt einen ähnlichen Ton.
• AnfrageWenn Sie den AliCloud-Dienst verwenden, müssen Sie Folgendes konfigurieren aliyun.osserscheinen (als etw.) docs/aliyun.md.

Zusätzliche Konfigurationsmöglichkeiten

• lokales Modell: Einstellungen transcription_provider = "fasterwhisper"Erforderliche Felder local_model.faster_whisperDas Modell wird automatisch heruntergeladen (macOS wird noch nicht unterstützt).
• AliCloud-DiensteWenn Sie AliClouds große Modelle oder Synchronisation verwenden, müssen Sie die aliyun.bailian vielleicht aliyun.speech.

Anwendungsszenario

1. Erstellung mehrsprachiger Inhalte
   • YouTube-Blogger wollen chinesische Videos ins Englische und Französische übersetzen. KrillinAI erstellt schnell Untertitel und Voiceover im Querformat.
2. Kurzes Werbevideo
   • Händler nutzen Jitterbug, um für ihre Produkte zu werben, und KrillinAI konvertiert das Video in einen vertikalen Bildschirm mit lokaler Sprache, um die Attraktivität zu erhöhen.
3. Gemeinsame Nutzung von Bildungsressourcen
   • Die Lehrkräfte übersetzen die Kursvideos in mehrere Sprachen, und KrillinAI liefert präzise Untertitel und Sprachaufnahmen für die Schüler weltweit.

QA

1. Warum fehlt die API beim Starten?
   • müssen sein bei config.toml Füllen Sie OpenAIs apikeyWeitere Informationen finden Sie auf der OpenAI-Website.
2. Welche Eingabesprachen werden unterstützt?
   • Unterstützt werden derzeit Chinesisch, Englisch, Japanisch, Deutsch, Türkisch und weitere Sprachen, die derzeit entwickelt werden.
3. Wie lange dauert das Übersetzen und Synchronisieren?
   • Die Verarbeitung eines 10-minütigen Videos dauert etwa 5-10 Minuten, je nach Netzwerk und Konfiguration.
4. Wie kann ich einen fehlgeschlagenen Download reparieren?
   • konfigurieren. cookies.txtReferenz docs/get_cookies.md Browser-Cookies exportieren.