GLM-TTS - Smart Spectrum AIによるオープンソース産業グレード音声合成システム

10.9K 00

GLM-TTSとは

GLM-TTSは、強力な音声合成機能を持つオープンソースの産業用音声合成システムです。GLM-TTSは2段階の生成アーキテクチャを採用しており、第1段階ではテキストを音声トークン列に変換し、第2段階ではトークン列を高品質な音声に変換します。GLM-TTSは、発音精度、音色類似度、感情表現において、オープンソースモデルのトップレベルに達しており、例えば、seed-ts-evalテストセットでは、文字誤り率(CER)は0.89%、音色類似度(Sim)は76.4%となっています。（GLM-TTSは、方言クローニング、多動作表現、教育評価におけるきめ細かな発音制御など、様々な応用シナリオをサポートします。ストリーミング推論をサポートし、リアルタイムの双方向アプリケーションを実現。ユーザーは、audio.z.aiとWisdom Spectrum Clear Speech APPを通じてオンラインで体験することができ、また、オープンプラットフォームAPIを通じてビジネスにアクセスすることもできます。GLM-TTSのモデル重み、推論スクリプト、その他のリソースは、GitHub、Hugging Face、Magic Hitchコミュニティでオープンソース化されており、開発者のデプロイや二次開発に便利です。

GLM-TTS 機能的特徴

ゼロサンプル音声クローニングわずか3秒の音声サンプルで、話し手の音質や話し方の癖を再現し、パーソナライズされた音声を素早く生成します。
多報酬強化学習文字誤り率、音色の類似性、感情表現、笑いなどの多次元報酬メカニズムを取り入れることで、音声の自然さや感情表現力を大幅に向上させる。
高品質の音声合成生成された音声は、自然で滑らか、正確な発音と市販のシステムに匹敵する音質で、音読やアフレコなど様々なシーンに適しています。
多言語対応と精神的サポート中国語と英語の混在したテキストをサポートし、テキストの内容に応じて自動的に感情的なスタイルを一致させることができ、多様なニーズを満たすことができます。
ストリーミング推論とリアルタイム・インタラクションインテリジェントなカスタマーサービスや音声アシスタントなど、オンライン・インタラクティブ・アプリケーションに最適です。
オープンソースと柔軟な展開モデルの重み、推論スクリプト、およびその他のリソースは、GitHub、Hugging Face、およびMagic Hitchコミュニティでオープンソース化されており、開発者の迅速なデプロイメントと二次開発を容易にしています。
洗練された発音コントロール音素＋テキスト」のハイブリッド入力により、多声文字や希少文字の発音問題を解決し、発音精度を向上させる。

GLM-TTSの主な利点

効率的な音色の再現ボイス・サンプルはわずか3秒で、話し手の口調やスタイルを正確に再現します。
豊かな感情表現多報酬強化学習により、感情表現と自然な発話を大幅に改善し、複数の感情スタイルをサポート。
高品質の音声出力生成される音声は自然で滑らか、正確な発音と市販のシステムに匹敵する音質で、プロの幅広いシーンに適している。
多言語サポート国際化されたアプリケーションのニーズを満たすために、中国語と英語の混在したテキストをサポートします。
リアルタイム・インタラクティブ機能ストリーミング推論をサポートし、インテリジェントなカスタマーサービスや音声アシスタントなど、リアルタイムの対話型アプリケーションに適しています。
オープンソースと使いやすさモデル重みと推論スクリプトは、開発者による迅速な展開と二次開発のためにオープンソース化されています。
洗練された発音コントロール音素レベルの入力により、多音語や希少語の発音問題を解決し、発音精度を向上させる。
低データトレーニングわずか10万時間のデータで、優れた結果を達成し、トレーニングコストを大幅に削減することができます。
柔軟なトーンのカスタマイズLoRAの微調整技術により、高品質な音色を素早くカスタマイズし、開発コストを削減。

GLM-TTSの公式ウェブサイトは？

GitHubリポジトリ:: https://github.com/zai-org/GLM-TTS
HuggingFaceモデルライブラリ:: https://huggingface.co/zai-org/GLM-TTS

GLM-TTSの対象者

音声技術開発者インテリジェント音声アシスタントや音声対話システムなどのアプリケーション開発には、高品質な音声合成技術が必要です。
コンテンツクリエーターオーディオブック、ポッドキャスト、音声コンテンツなど、パーソナライズされた音声を素早く生成する必要があるコンテンツの制作。
教育セクターの実務者教育用ソフトウェアやオンラインコースで使用され、生き生きとした音声による説明や、パーソナライズされた音声フィードバックを提供します。
カスタマーサービスインテリジェントなカスタマーサービスシステムを構築し、自然でスムーズな音声対話体験を提供する。
こうぎょうアニメ、ゲーム、映画、TVの吹き替えを制作し、様々なスタイルの音声コンテンツを素早く生成します。
方言と小言語の研究者方言やマイナー言語を研究し、保存するために、方言クローン能力を活用する。