FLM-Audio - 全二重音声対話モデル（FLM-Audio）は、南洋理工学院（NTI）と共同でWisdomSourceによってオープンソース化されました。

FLM-Audioとは？

FLM-Audioは、Beijing Zhiyuan Artificial Intelligence Research InstituteとSpin Matrix、Nanyang Technological University of Singaporeが共同開発したネイティブ全二重音声対話マクロモデルで、中国語と英語の両方をサポートしています。ネイティブの全二重アーキテクチャを採用し、各時間ステップでリスニング、スピーキング、モノローグの各チャンネルをマージすることができ、従来の時分割多重方式が抱える高遅延の問題を回避している。FLM-Audioはわずか100万時間のデータで学習されるため、データ量が大幅に削減され、俊敏で自然な応答と、ノイズやユーザーの割り込みに対する強いロバスト性を備えた高品質の応答を提供します。

FLM-Audioの特徴

ネイティブ全二重アーキテクチャ聞く、話す、モノローグを同時に行えるため、低遅延で全二重の対話が可能になり、より自然な人間のコミュニケーションに近づきます。
中国語と英語の対話をサポートマルチリンガルユーザーのニーズに応えるため、中国語と英語での対話が可能。
効率的なデータ活用わずか100万時間分のデータで訓練されたため、データは少ないが応答品質は高く、機敏で自然な応答ができる。
高い堅牢性ノイズやユーザーの割り込みに対する適応性が高く、対話の内容を素早く調整してスムーズさを確保。
オープンソースは研究できるこのモデルとコードは、研究者や開発者による研究や探求を容易にするため、オープンソースとなっている。

FLM-Audioの核となる利点

低遅延全二重対話FLM-Audioはネイティブの全二重アーキテクチャにより、リスニング、スピーキング、インナー・モノローグを同時に行うことができ、低遅延の全二重対話を実現します。
効率的なデータトレーニングこのモデルは100万時間分のデータで学習され、他の類似モデルと比較してデータ量が大幅に削減されているにもかかわらず、機敏で自然な応答パターンとより効率的な学習により、高品質の対話応答を実現しています。
高い堅牢性ノイズやユーザーの割り込みに強く、現在の出力を素早く一時停止でき、新しい質問を正確に理解して即座に答え、スムーズで正確な対話を実現し、さまざまな複雑な対話シナリオに適応します。
ナチュラル・モノローグとデュアル・トレーニング・パラダイム人間の対話の認知行動を模倣するために「ナチュラル・モノローグ」の概念を導入し、非同期アライメント問題を効果的に解決するために「デュアル・トレーニング・パラダイム」を採用することで、モデルの対話がより自然で首尾一貫したものになる。

FLM-Audioの公式ウェブサイトは？

GitHubリポジトリ:: https://github.com/cofe-ai/flm-audio
HuggingFaceモデルライブラリ:: https://huggingface.co/CofeAI/FLM-Audio
arXivテクニカルペーパー:: https://arxiv.org/pdf/2509.02521

FLM-Audioの対象者

研究員FLM-Audioはオープンソースであるため、人工知能、自然言語処理、音声技術分野の研究者にとって、全二重対話技術、モデルの最適化、マルチモーダル対話といった最先端のトピックを探求するための理想的なツールです。
開発者ソフトウェア開発者向けに、FLM-Audioはインテリジェント音声アシスタント、チャットボット、音声対話アプリケーションなどの開発のための豊富なインターフェースと柔軟なカスタマイズオプションを提供し、製品開発とイノベーションを加速します。
ビジネスユーザー例えば、より効率的で自然な顧客対応のためのインテリジェントな顧客サービスシステムを開発し、顧客満足度と業務効率を向上させることができます。
教育者教育分野では、FLM-Audioは言語学習ツールやインテリジェント・チュータリング・システムなどの開発に利用することができ、全二重の対話を通じて、生徒によりインタラクティブでパーソナライズされた学習体験を提供することができる。
コンテンツクリエーターコンテンツ制作者は、FLM-Audioを使用して、クリエイティブなダイアログ、オーディオコンテンツ、スクリプトを生成することができます。