Retrieval-basierte Sprachumwandlung WebUI: Ein Framework für Retrieval-basierte Sprachumwandlung | Simulation realer Gesangsstimmen

Allgemeine Einführung

Retrieval based Voice Conversion WebUI ist ein einfaches und leicht zu bedienendes VITS-basiertes Sprachkonvertierungs-Framework, das die Sprachkonvertierung zwischen beliebigen Sprechern, einschließlich Song-Cover und Echtzeit-Stimmenwechsel, realisieren kann. Es bietet eine niedrige Latenzzeit, einen ausgezeichneten Sprachumwandlungseffekt, eine geringe Datenmenge für das Training usw. Es unterstützt die Beschleunigung von N-, A- und I-Karten, bietet ein Webinterface und eine Schnittstelle für die Sprachumwandlung in Echtzeit und kann auch das UVR5-Modell aufrufen, um die menschliche Stimme und den Hintergrundgesang schnell zu trennen, und den fortschrittlichsten Algorithmus für die Extraktion der menschlichen Stimmlage, RMVPE, verwenden, um das Problem der stummen Stimme zu beseitigen.

colab online erleben

Das untere Modell wurde mit fast 50 Stunden hochwertiger Open-Source-VCTK-Trainingsdaten trainiert, ohne dass urheberrechtliche Bedenken bestehen.

Freuen Sie sich auf das Basismodell von RVCv3, mit größeren Parametern, größeren Daten, besseren Ergebnissen, im Wesentlichen gleicher Inferenzgeschwindigkeit und weniger erforderlichen Trainingsdaten.

Training Reasoning Interface

Echtzeit-Sprachwechsel-Schnittstelle

Funktionsliste

• Trainieren Sie Ihr eigenes Sprachumwandlungsmodell mit nur 10 Minuten Sprachdaten
• Unterstützt mehrere Abtastraten und Töne mithilfe von vortrainierten Sprachkonvertierungsmodellen
• Sprachumwandlung über eine Webschnittstelle oder eine Echtzeit-Sprachumwandlungsschnittstelle mit Unterstützung für niedrige End-to-End-Latenzzeiten
• Getrennte Gesangs- und Hintergrundspuren mit UVR5-Modellierung, Unterstützung mehrerer Audiodateiformate
• Verwendung des RMVPE-Algorithmus zur Extraktion der Stimmlage, Unterstützung von pytorch/onnx/DirectML

Hilfe verwenden

• Laden Sie dieses Repository herunter oder klonen Sie es, installieren Sie die erforderlichen Abhängigkeiten und Vormodelle
• Führen Sie go-web.bat oder go-realtime-gui.bat aus und wählen Sie die gewünschte Aktion.
• Wählen Sie gemäß den Anweisungen auf der Benutzeroberfläche die Eingabe- und Ausgabedateien oder -geräte aus und passen Sie die Parameter und Optionen an.
• Klicken Sie auf Start oder Stopp und genießen Sie die Sprachumwandlung!

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>