FLM-Audio - 智源联合南洋理工开源的全双工音频对话模型

FLM-Audio是什么

FLM-Audio 是北京智源人工智能研究院联合 Spin Matrix 与新加坡南洋理工大学共同发布的原生全双工音频对话大模型，支持中文和英文。采用原生全双工架构，可在每个时间步合并听觉、说话和独白通道，避免传统时分复用方案的高延迟问题。独特的自然独白与双重训练范式，使模型在对话中更接近人类的自然交流方式，有效解决了异步对齐问题。FLM-Audio 仅用 100 万小时数据训练，数据量大幅减少，回复质量高且响应敏捷自然，对噪声和用户打断也有较强鲁棒性。

FLM-Audio的功能特色

• 原生全双工架构：能同时进行听、说和内心独白，实现低延迟的全双工对话，更接近人类自然交流。
• 支持中英文对话：具备中文和英文的对话能力，满足多语言用户需求。
• 高效数据利用：仅用100万小时数据训练，数据量少但回复质量高，响应敏捷自然。
• 强鲁棒性：对噪声和用户打断有较强适应性，能迅速调整对话内容，保证流畅性。
• 开源可研究：模型和代码开源，方便研究人员和开发者进行研究和探索。

FLM-Audio的核心优势

• 低延迟全双工对话：FLM-Audio采用原生全双工架构，能同时进行听、说和内心独白，实现低延迟的全双工对话，让交流更流畅自然，接近人类的真实对话体验。
• 高效数据训练：模型仅使用100万小时数据进行训练，相比其他同类模型，数据量大幅减少，依然能提供高质量的对话回复，且响应模式敏捷自然，训练效率更高。
• 强鲁棒性：对噪声和用户打断具有较强的鲁棒性，能迅速停顿当前输出、准确理解新问题并即时作答，保证对话的流畅性和准确性，适应各种复杂的对话场景。
• 自然独白与双重训练范式：引入“自然独白”概念，模仿人类对话中的认知行为，采用“双重训练范式”，有效解决异步对齐问题，使模型的对话更加自然、连贯。

FLM-Audio官网是什么

• GitHub仓库：https://github.com/cofe-ai/flm-audio
• HuggingFace模型库：https://huggingface.co/CofeAI/FLM-Audio
• arXiv技术论文：https://arxiv.org/pdf/2509.02521

FLM-Audio的适用人群

• 研究人员：FLM-Audio的开源特性使其成为人工智能、自然语言处理和语音技术等领域研究人员的理想工具，可用于探索全双工对话技术、模型优化和多模态交互等前沿课题。
• 开发者：对于软件开发者来说，FLM-Audio提供了丰富的接口和灵活的定制选项，可用于开发智能语音助手、聊天机器人、语音交互应用等，加速产品开发和创新。
• 企业用户：企业可以利用FLM-Audio提升客户服务体验，如开发智能客服系统，实现更高效、自然的客户互动，提高客户满意度和运营效率。
• 教育工作者：在教育领域，FLM-Audio可用于开发语言学习工具、智能辅导系统等，通过全双工对话为学生提供更互动、个性化的学习体验。
• 内容创作者：内容创作者可以借助FLM-Audio生成创意对话、音频内容或剧本，提高创作效率，激发新的创作灵感。