ChatTTS: ein Spracherzeugungsmodell, das den Klang echter Menschen beim Sprechen nachahmt

Allgemeine Einführung

ChatTTS ist ein generatives Sprachmodell, das für Dialogszenarien entwickelt wurde. Es erzeugt natürliche und ausdrucksstarke Sprache, unterstützt mehrere Sprachen und mehrere Sprecher und ist für interaktive Dialoge geeignet. Das Modell übertrifft die meisten Open-Source-Sprachsynthesemodelle, indem es feinkörnige rhythmische Merkmale wie Lachen, Pausen und Zwischenrufe vorhersagt und steuert.ChatTTS bietet vortrainierte Modelle zur Unterstützung weiterer Forschung und Entwicklung, vor allem für akademische Zwecke.

Funktionsliste

• Mehrsprachige UnterstützungChinesisch und Englisch werden unterstützt, und weitere Sprachen werden in Zukunft hinzukommen.
• Multi-Talker-UnterstützungDie Fähigkeit, die Stimmen mehrerer Sprecher zu erzeugen, macht es für interaktive Dialoge geeignet.
• Feinkörnige rhythmische KontrolleRhythmische Merkmale wie Lachen, Pausen und Zwischenrufe können vorhergesagt und kontrolliert werden.
• Pre-Training ModellBietet 40.000 Stunden an vortrainierten Modellen zur Unterstützung weiterer Forschung und Entwicklung.
• offene QuelleDer Code ist Open Source auf GitHub für akademische und wissenschaftliche Zwecke.

Hilfe verwenden

Ablauf der Installation

1. Projektcode klonen::

   git klonen. https://github.com/2noise/ChatTTS.git
   

2. Installation von Abhängigkeiten::

   cd ChatTTS
   pip install -r anforderungen.txt
   

3. Download des vortrainierten ModellsDownloaden Sie das trainierte Modell von HuggingFace oder ModelScope und legen Sie es im angegebenen Verzeichnis ab.

Verwendung

1. Modelle laden::

   von chattts importieren ChatTTS
   model = ChatTTS.load_model(path/to/pretrained/model'.)
   

2. Sprache generieren::

   Text = "Hallo und willkommen bei ChatTTS!"
   audio = model.synthesize(text)
   

3. Speichern von Audiodateien::

   mit öffnen(output.wav', 'wb') als f.
       f.write(audio)
   

Detaillierte Funktionsweise

• TexteingabeUnterstützt gemischte chinesische und englische Texteingabe.
• Rhythmische KontrolleReimeigenschaften wie Lachen, Pausen und Zwischenrufe werden durch die Einstellung von Parametern gesteuert.
• KlangregelungDer erzeugte Ton kann durch einen voreingestellten Ton-Seed-Wert oder Ton-Code gesteuert werden.
• emotionale KontrolleSteuerung der emotionalen Eigenschaften der generierten Sprache durch die Einstellung der Parameter Emotionsschwankung und Relevanz.
• Streaming-AusgangUnterstützt lange Audiogenerierung und zeichenbasiertes Lesen für komplexe Dialogszenarien.

Beispielcode (Rechnen)

von chattts importieren ChatTTS

#-Lademodell
model = ChatTTS.load_model(path/to/pretrained/model'.)

# Einstellen von Text- und Reimparametern
Text = "Hallo und willkommen bei ChatTTS!"
params = {
    lachen: Wahr,
    'Pause': Wahr,
    'Zwischenruf': Wahr
}

# Sprache generieren
audio = model.synthesize(text, params)

# Speichern von Audiodateien
mit öffnen(output.wav', 'wb') als f.
    f.write(audio)

ChatTTS-Klient

Schnelle Erfahrung

Funktionserweiterung

Erweiterung der Funktionalität

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>