Supertonic - オフラインで猛スピードで動作するオープンソースの高性能AI音声合成システム。

12.1K 00

スーパートニックとは？

Supertonicはオープンソースの高性能音声合成(TTS)システムで、ローカルデバイスでの高速音声生成に特化しています。ONNXランタイム・テクノロジーを使用しているため、携帯電話、コンピューター、さらにはRaspberry Piデバイスでも動作し、23の言語と音声クローンをサポートし、ネットワーク接続なしでミリ秒単位の応答を実現します。複雑なテキストを扱えるのが特徴で、数字や記号を含む非標準テキストを自然に読み上げることができ、リアルタイム音声アプリケーションの開発に適している。ユーザーはGitHub経由でオープンソースのコードとモデルにアクセスでき、Pythonもサポートしている、Node.jsその他多くのプログラミング環境がある。

スーパートニックの特徴

高品質オーディオ生成単なるメロディーの断片ではなく、音楽的で比較的構造化された高品質のオーディオクリップをゼロから生成する能力。出来上がった音楽は、まとまりと聴きやすさの点で優れており、プロの作品のレベルに近づいている。
高度な基礎アーキテクチャコアは ミュージックジェン改良されたモデル。シングルステージの自己回帰トランスフォーマーアーキテクチャを使用。効率的なトークン化手法（EnCodecなど）を使用し、最初に音声を離散的なコードシーケンスに圧縮し、次にこれらのコードに基づいて生成することで、生成の複雑さを大幅に軽減。
テキスト記述生成例：「力強いベースラインの軽快なエレクトロニック・ダンス・トラック」）。
メロディック・リード・ジェネレーションユーザーはリファレンスとなるメロディー（鼻歌やMIDIクリップなど）を入力することができ、そのメロディーを基に作曲や変奏を行います。音楽制作のための強力なコラボレーション・ツールです。
完全にオープンソースでカスタマイズ可能APIコールにお金を払う必要はありません。プライバシーとデータのセキュリティを保護するために、独自のハードウェア上で実行されます。
カスタマイズの微調整ニーズやデータに応じて、特定のスタイルや楽器の音楽を生成するようにモデルをさらにトレーニングします。

スーパートニックの強み

プロフェッショナルなリスニング体験生成される音楽は、メロディー、ハーモニー、リズム、楽器のアレンジメントにおいて高い完成度と音楽性を持ち、単純な機械的ループではなく、プロのミュージシャンの作品に近いリスニング体験ができる。
構造的一貫性無秩序な音符の積み重ねではなく、一定の音楽構造（例えば、メイン・ソング、コーラス）を持った首尾一貫した断片を生み出す能力。
メロディック・リード・ジェネレーションこのモデルは、既存のメロディ（鼻歌またはオーディオ）をアレンジ、変奏、発展させるために使用することができます。ユーザーは既存のメロディーを（鼻歌、MIDIファイル、またはオーディオで）入力することができ、モデルはそれをアレンジ、バリエーション、展開の核として使用し、オリジナルのメロディーの "魂 "を完璧に受け継いだ新しい作品を生み出します。
正確なテキストコントロール自然言語記述の理解は正確で、「エキサイティングなシンフォニー」や「リラックスしたポップピアノ」といった複雑な様式記述にマッチした音楽を確実に生成できる。
効率的なコンピューティング・パフォーマンスこのモデルは、コンシューマーグレードのGPUや一部のハイエンドCPUでもリアルタイムで動作するように最適化されているため、適用可能なシナリオが大幅に拡大し、より多くの人が敷居の低い体験と創作をすることができる。

スーパートニックの公式ウェブサイトは？

Githubリポジトリ:: https://github.com/supertone-inc/supertonic
HuggingFaceモデルライブラリ:: https://huggingface.co/Supertone/supertonic

スーパートニックは誰のためのものですか？

ショートビデオクリエイター予算が限られているインディーズデベロッパーやコンテンツクリエイターは、ゲームのシーン（例：「暗い森」、「激しい戦い」）や映像の雰囲気に合わせて、コンテンツのリズムに合った独自のロイヤルティフリーのカスタムサウンドトラックを作成することができます。
音楽クリエイターと作曲家創造的なボトルネックに遭遇したら、核となるメロディ・モチーフを入力し、モデルにさまざまなスタイル（ポップス、エレクトロニック、クラシックなど）の複数のアレンジ・バージョンを生成させて、創造的なアイデアを素早く広げることができる。
音楽教育者と愛好家さまざまな音楽スタイル（ブルース、ファンクなど）の特徴を生徒に視覚的に示したり、シンプルなメロディが、さまざまなハーモニーやオーケストレーションによって、どのように完全な楽曲へと発展していくかを実演したりする。
サウンド・デザイナー、ニューメディア・アーティストサウンドデザインライブラリとして、様々なスタイルやムードのバックグラウンドトラックやアンビエントミュージックを素早く生成できます。