OpenAI Realtime Agents：多智能体语音交互应用（OpenAI示例）

综合介绍

OpenAI Realtime Agents是一个开源项目，旨在展示如何利用OpenAI的实时API来构建多智能体的语音应用。它提供了高级的智能体模式（借鉴 OpenAI Swarm），允许开发者在短时间内搭建出复杂的多智能体语音系统。该项目通过示例展示了如何进行智能体之间的顺序交接、背景提升至更智能的模型，以及如何让模型遵循状态机来处理任务，如逐字符确认用户信息。这对于想要快速原型化多智能体实时语音应用的开发者来说，是一个非常有价值的资源。

OpenAI 为使用实时 API 构建和编排智能模式提供了一个参考实现。您可以在不到 20 分钟内使用这个仓库原型化一个使用多智能体流程的语音应用！使用实时 API 进行构建可能很复杂，因为语音交互的低延迟、同步特性。本仓库包括我们学习到的管理这种复杂性的最佳实践。

功能列表

• 智能体顺序交接：允许根据预定义的智能体图形进行智能体的顺序移交。
• 背景提升：可以将任务提升到更先进的模型（如o1-mini）处理高风险决策。
• 状态机处理：通过提示模型遵循状态机来准确收集和验证信息，如用户姓名和电话号码。
• 快速原型：提供快速搭建和测试多智能体实时语音应用的工具。
• 配置灵活性：用户可以自行配置智能体行为和交互流程。

使用帮助

安装与配置

1. 克隆仓库：

   git clone https://github.com/openai/openai-realtime-agents.git
   cd openai-realtime-agents
   

2. 环境配置：
   • 确保你已安装Node.js和npm。
   • 使用npm install安装所有必要的依赖包。
3. 启动本地服务器：

   npm start
   

   这将启动一个本地服务器，你可以在浏览器中通过访问http://localhost:3000查看应用。

使用指南

浏览和选择智能体：

• 打开浏览器，导航到http://localhost:3000**。**
• 你会看到一个界面，其中包含“Scenario”下拉菜单和“Agent”下拉菜单，可以选择不同的智能体场景和具体的智能体。

交互体验：

• 选择场景：在“Scenario”菜单中选择一个预定义的场景，比如“simpleExample”或“customerServiceRetail”。
• 选择智能体：在“Agent”菜单中选择你想要开始的智能体，比如“frontDeskAuthentication”或“customerServiceRetail”。
• 开始对话：通过界面输入文本或直接通过语音输入（如果支持）开始与智能体交互。智能体会根据你的输入进行响应，并可能将你转接到另一个智能体以处理更复杂的任务。

功能详细操作

• 顺序交接：当你需要从一个智能体移交到另一个时，例如从前台验证身份到售后服务，系统会自动处理这种转移。确保在每个智能体的配置中正确定义了downstreamAgents。
• 背景提升：在处理复杂或高风险的任务时，智能体可以自动提升到更强大的模型进行处理。例如，当需要详细验证用户身份或处理退货时，系统会调用o1-mini模型。

• 状态机处理：对于需要逐字符确认的任务，如输入个人信息，智能体会通过状态机逐步引导用户，确保每一个字符或信息都是正确的。用户在输入过程中会收到实时反馈，比如“请确认您的姓氏是X”。

• 配置智能体：你可以在src/app/agentConfigs/目录下找到智能体的配置文件。通过编辑这些文件，你可以改变智能体的行为、添加新的智能体或调整现有智能体的逻辑。

开发者提示

• 要扩展或修改智能体行为，建议先研究现有的agentConfigs文件，然后通过agent_transfer工具实现智能体之间的移交。
• 所有智能体之间的交互和状态变化都会在UI的“Conversation Transcript”部分显示，便于调试和改进。

通过这些步骤和功能的详细介绍，你可以快速上手并利用OpenAI Realtime Agents来构建属于自己的多智能体语音交互应用。