ChatTTS: ein Spracherzeugungsmodell, das die Stimme eines echten Sprechers imitiert (ChatTTS-Beschleunigungspaket mit einem Klick)

Allgemeine Einführung

ChatTTS ist ein generatives Sprachmodell, das für Dialogszenarien entwickelt wurde. Es erzeugt natürliche und ausdrucksstarke Sprache, unterstützt mehrere Sprachen und mehrere Sprecher und ist für interaktive Dialoge geeignet. Das Modell übertrifft die meisten Open-Source-Sprachsynthesemodelle, indem es feinkörnige rhythmische Merkmale wie Lachen, Pausen und Zwischenrufe vorhersagt und steuert.ChatTTS bietet vortrainierte Modelle zur Unterstützung weiterer Forschung und Entwicklung, vor allem für akademische Zwecke.

Funktionsliste

• Mehrsprachige UnterstützungChinesisch und Englisch werden unterstützt, und weitere Sprachen werden in Zukunft hinzukommen.
• Multi-Talker-UnterstützungDie Fähigkeit, die Stimmen mehrerer Sprecher zu erzeugen, macht es für interaktive Dialoge geeignet.
• Feinkörnige rhythmische KontrolleRhythmische Merkmale wie Lachen, Pausen und Zwischenrufe können vorhergesagt und kontrolliert werden.
• Pre-Training ModellBietet 40.000 Stunden an vortrainierten Modellen zur Unterstützung weiterer Forschung und Entwicklung.
• offene QuelleDer Code ist Open Source auf GitHub für akademische und wissenschaftliche Zwecke.

Hilfe verwenden

Ablauf der Installation

1. Projektcode klonen::

   git klonen. https://github.com/2noise/ChatTTS.git
   

2. Installation von Abhängigkeiten::

   cd ChatTTS
   pip install -r anforderungen.txt
   

3. Download des vortrainierten ModellsDownloaden Sie das trainierte Modell von HuggingFace oder ModelScope und legen Sie es im angegebenen Verzeichnis ab.

Verwendung

1. Modelle laden::

   von chattts importieren ChatTTS
   model = ChatTTS.load_model(path/to/pretrained/model'.)
   

2. Sprache generieren::

   Text = "Hallo und willkommen bei ChatTTS!"
   audio = model.synthesize(text)
   

3. Speichern von Audiodateien::

   mit öffnen(output.wav', 'wb') als f.
       f.write(audio)
   

Detaillierte Funktionsweise

• TexteingabeUnterstützt gemischte chinesische und englische Texteingabe.
• Rhythmische KontrolleReimeigenschaften wie Lachen, Pausen und Zwischenrufe werden durch die Einstellung von Parametern gesteuert.
• KlangregelungDer erzeugte Ton kann durch einen voreingestellten Ton-Seed-Wert oder Ton-Code gesteuert werden.
• emotionale KontrolleSteuerung der emotionalen Eigenschaften der generierten Sprache durch die Einstellung der Parameter Emotionsschwankung und Relevanz.
• Streaming-AusgangUnterstützt lange Audiogenerierung und zeichenbasiertes Lesen für komplexe Dialogszenarien.

Beispielcode (Rechnen)

von chattts importieren ChatTTS

#-Lademodell
model = ChatTTS.load_model(path/to/pretrained/model'.)

# Einstellen von Text- und Reimparametern
Text = "Hallo und willkommen bei ChatTTS!"
params = {
    lachen: Wahr,
    'Pause': Wahr,
    'Zwischenruf': Wahr
}

# Sprache generieren
audio = model.synthesize(text, params)

# Speichern von Audiodateien
mit öffnen(output.wav', 'wb') als f.
    f.write(audio)

ChatTTS-Klient

Schnelle Erfahrung

Funktionserweiterung

Erweiterung der Funktionalität

ChatTTSPlus Beschleunigtes Ein-Klick-Installationspaket

ChatTTSPlus ist eine erweiterte Version von ChatTTS, die die TensorRT-Beschleunigung, das Klonen von Sprache und die Bereitstellung von mobilen Modellen zum Original hinzufügt. Es ist einfach zu benutzen, bietet ein Windows Ein-Klick-Installationsprogramm und erreicht eine mehr als dreifache Leistungssteigerung mit TensorRT (von 28 Token/s auf 110 Token/s auf Windows 3060 GPUs). Es unterstützt das Klonen von Sprache mit LoRA und entwickelt Modellkompressions- und Beschleunigungstechniken für den mobilen Einsatz.ChatTTSPlus ist ein leistungsfähiges und einfach zu bedienendes Sprachsynthesewerkzeug für eine Vielzahl von Szenarien, mit besonderen Stärken bei Anwendungen, die eine hohe Leistung und Fähigkeiten zum Klonen von Sprache erfordern.

Anschrift: https://github.com/warmshao/ChatTTSPlus