微软 AI Agent 入门课程：生产环境中的 AI Agents 概要-首席AI分享圈

简介

本课程将涵盖：

完成本课程后，你将了解如何/理解：

部署值得信赖的 AI Agents 非常重要。同时请查看“构建值得信赖的 AI Agents”课程。

在部署 AI Agents 之前、期间和之后，拥有一个适当的系统来评估 AI Agents 至关重要。这将确保你的系统与你和你的用户的目标一致。

要评估 AI Agent，重要的是不仅要评估 Agent 的输出，还要评估 AI Agent 运行的整个系统。这包括但不限于：

这使你能够以更模块化的方式识别需要改进的领域。然后，你可以更有效地监控模型、提示、工具和其他组件的更改效果。

问题	潜在解决方案
AI Agent 未能始终如一地执行任务	- 改进给 AI Agent 的提示；明确目标。 - 确定将任务划分为子任务并由多个 Agent 处理在哪些方面有帮助。
AI Agent 陷入连续循环	- 确保你有明确的终止条款和条件，以便 Agent 知道何时停止该过程。 - 对于需要推理和规划的复杂任务，请使用专门用于推理任务的较大模型。
AI Agent 工具调用效果不佳	- 在 Agent 系统之外测试和验证工具的输出。 - 改进定义的参数、提示和工具命名。
多 Agent 系统未能始终如一地执行	- 改进给每个 Agent 的提示，以确保它们彼此之间是具体且不同的。 - 使用“路由”或控制器 Agent 构建分层系统，以确定哪个 Agent 是正确的。

以下是一些管理将 AI Agents 部署到生产环境的成本的策略：

缓存响应 - 识别常见请求和任务，并在它们通过你的 Agent 系统之前提供响应，这是减少类似请求量的好方法。你甚至可以使用更基本的 AI 模型来实现一个流程来识别请求与缓存请求的相似程度。
使用较小的模型 - 小型语言模型 (SLM) 可以在某些 Agent 用例中表现良好，并将显著降低成本。如前所述，构建一个评估系统来确定和比较与较大模型的性能是了解 SLM 在你的用例中表现如何的最佳方式。
使用路由器模型 - 类似的策略是使用各种模型和大小。你可以使用大语言模型/小型语言模型或无服务器功能根据复杂性将请求路由到最合适的模型。这也有助于降低成本，同时确保正确任务的性能。