Alibaba AI Research Institute veröffentlicht CosyVoice 2: ein verbessertes Streaming-Sprachsynthesemodell

1. übersicht

Die Sprachsynthesetechnologie hat in den letzten Jahren erhebliche Fortschritte gemacht, insbesondere bei der natürlichen und flüssigen Spracherzeugung in Echtzeit. Doch Probleme wie Latenz, Aussprachegenauigkeit und Sprecherkonsistenz machen der Branche in realen Anwendungen immer noch zu schaffen, insbesondere bei Streaming-Anwendungen, die eine hohe Reaktionsfähigkeit erfordern. Diese technischen Herausforderungen sind besonders akut, wenn es um komplexe sprachliche Eingaben geht, wie z.B. Zungenbrecher oder mehrstimmige Wörter, die die Verarbeitungsmöglichkeiten der bestehenden Modelle übersteigen. Um diesen Herausforderungen zu begegnen, haben die Forscher von Alibaba CosyVoice 2 eingeführt, ein verbessertes Modell für die technischen Herausforderungen der Sprachsynthese, das diese Probleme effektiv lösen soll.

2. das CosyVoice 2-Debüt: Von den Grundlagen zum Durchbruch

CosyVoice 2 baut auf der Grundlage des ursprünglichen CosyVoice auf und bringt eine deutliche Verbesserung der Sprachsynthesetechnologie. Dieses verbesserte Modell ist nicht nur für Streaming-Anwendungen optimiert, sondern macht auch deutliche Fortschritte bei Offline-Anwendungen. Seine Anpassungsfähigkeit, Flexibilität und Genauigkeit in einem breiten Spektrum von Anwendungsszenarien wurde verbessert, insbesondere bei Text-to-Speech und interaktiven Sprachsystemen.

Die wichtigsten Highlights von CosyVoice 2:

• Einheitliche Modi für Streaming und Nicht-StreamingCosyVoice 2 passt sich nahtlos an eine Vielzahl von Anwendungsszenarien an, unabhängig davon, ob sie in Echtzeit generiert oder offline verarbeitet werden, ohne die Leistung zu beeinträchtigen.
• Höhere Genauigkeit der AusspracheCosyVoice 2 reduziert in komplexen Sprachumgebungen die Aussprachefehler von 30%-50% und verbessert die Sprachverständlichkeit erheblich, insbesondere bei mehrsilbigen Wörtern oder Zungenbrechern.
• verbesserte SprecherkongruenzEgal, ob es sich um eine Zero-Shot-Synthese oder eine sprachübergreifende Synthese handelt, CosyVoice 2 sorgt für eine konsistente Ausgabe, so dass jede Synthese natürlich und flüssig ist.
• Präzisere BefehlssteuerungBenutzer können Tonfall, Stil und Akzent ihrer Stimme durch natürlichsprachliche Befehle präzise steuern und die Sprachleistung sogar an emotionale Bedürfnisse anpassen.

3. die Technologie und die Stärken der Innovation

CosyVoice 2 konnte dank einer Reihe von Innovationen in seiner Technologie eine Reihe von Herausforderungen im Bereich der Sprachsynthese lösen.

1. Finite-Skalar-Quantisierungs-Technik (FSQ): FSQ ersetzt die traditionelle Vektorquantisierungsmethode und optimiert die Verwendung von Vokabularen mit Sprachmarkierungen, um die semantische Darstellungsfähigkeit und die Synthesequalität zu verbessern. Diese technologische Innovation steigert nicht nur die Ausdruckskraft des Modells, sondern reduziert auch die Komplexität der Datenverarbeitung effektiv.
2. Vereinfachte Text-to-Speech-Architektur: CosyVoice 2 basiert auf vortrainierten Large Language Models (LLMs), wodurch zusätzliche Text-Encoder überflüssig werden und die Modellarchitektur für eine verbesserte sprachübergreifende Leistung vereinfacht wird. Diese Architektur macht CosyVoice 2 bei der Verarbeitung mehrerer Sprachen deutlich effizienter und genauer.
3. Block-Aware Causal Flow Matching: Diese innovative Technologie ermöglicht den Abgleich von semantischen und akustischen Merkmalen mit minimaler Latenz, wodurch CosyVoice 2 bei der Spracherzeugung in Echtzeit brilliert, insbesondere bei Echtzeit-Sprachinteraktion und Streaming-Anwendungen.
4. Erweiterter Befehlsdatensatz: Mit über 1500 Stunden Trainingsdaten bietet CosyVoice 2 eine granulare Kontrolle über verschiedene Akzente, Emotionen und Sprachstile und macht die Sprachsynthese flexibler und ausdrucksstärker. Egal, ob es sich um einen warmen Tonfall oder eine angespannte Emotion handelt, CosyVoice 2 ist in der Lage, diese mit Präzision zu erfassen und auszudrücken.

4. die Leistung von CosyVoice 2: Wie es Probleme in der Praxis löst

In einer Reihe von strengen Evaluierungstests hat CosyVoice 2 unbestreitbare Vorteile gezeigt, insbesondere in Bezug auf niedrige Latenz, hohe Genauigkeit und Stimmkonsistenz.

• Geringe Latenzzeit und hohe EffizienzCosyVoice 2 hat eine Reaktionszeit von nur 150 Millisekunden bei der Spracherzeugung, was bedeutet, dass es sich ideal für Echtzeit-Sprachanwendungen wie Voice-Chat und Streaming-Interaktionen eignen kann.
• Verbesserte AussprachetreueCosyVoice 2 bietet erhebliche Verbesserungen für komplexe sprachliche Strukturen (z.B. Polysilben, Zungenbrecher usw.), wodurch die Aussprachegenauigkeit drastisch verbessert und Fehler bei der alltäglichen Sprachsynthese reduziert werden.
• Konsistente LautsprecherleistungCosyVoice 2 ist in der Lage, ein hohes Maß an Konsistenz über verschiedene Syntheseaufgaben hinweg aufrechtzuerhalten, sei es bei der sprachübergreifenden Synthese oder der Zero-Shot-Synthese, und die Natürlichkeit und Stabilität der Sprache ist in hohem Maße gewährleistet.
• MehrsprachigkeitCosyVoice 2 schneidet auch in Benchmarks für Sprachen wie Japanisch und Koreanisch gut ab und demonstriert trotz der Probleme mit bestimmten überlappenden Zeichensätzen die Leistungsfähigkeit der sprachübergreifenden Synthese.
• Widerstandsfähigkeit in herausfordernden SzenarienCosyVoice 2 zeigte in einigen anspruchsvollen Sprachszenarien (z. B. Zungenbrecher) eine bessere Klarheit und Genauigkeit als die Vorgängermodelle und übertraf damit die bisherigen technischen Grenzen.

5. schlussfolgerung

Die Einführung von CosyVoice 2 ist ein wichtiger Fortschritt in der Sprachsynthesetechnologie. Innovative Technologien wie FSQ und Block-Aware Causal Flow Matching unterstützen die Leistung und Benutzerfreundlichkeit des Modells, während ein großer Trainingsdatensatz und eine präzise Steuerung der Sprachstile die Bewältigung eines breiten Spektrums komplexer Sprachanwendungsszenarien ermöglichen.

Obwohl CosyVoice 2 in Bezug auf die Unterstützung mehrerer Sprachen und die Verarbeitung komplexer Sprachszenarien noch weiter verbessert werden muss, legt es eine solide Grundlage für die künftige Sprachsynthesetechnologie, insbesondere für die Anwendung von Streaming Media und die Spracherzeugung in Echtzeit, die eine breite Entwicklungsperspektive hat. Ob im Bereich der KI-Sprachassistenten, des intelligenten Kundendienstes oder der Echtzeitübersetzung, CosyVoice 2 zeigt sein großes Potenzial und ebnet den Weg für weitere Durchbrüche in der Sprachsynthesetechnologie.

Referenz:

1. https://arxiv.org/abs/2412.10117
2. https://huggingface.co/spaces/FunAudioLLM/CosyVoice2-0.5B
3. https://www.modelscope.cn/models/iic/CosyVoice2-0.5B