AI个人学习
和实操指南

Rexera 的 AI 智能体如何通过 LangGraph 驱动质量控制

了解 Rexera 如何迁移至 LangGraph,创建用于房地产业务流程的强大质量控制智能体,并显著提升其大语言模型(LLM)回复的准确性。

Rexera 正在通过利用 AI 自动化手动流程,彻底改变价值 500 亿美元的房产交易行业。通过部署智能 AI 智能体,Rexera 简化了房地产业务流程,加快了交易速度,同时显著降低了成本和错误率。


借助 LangChain 和 LangGraph 以及其大语言模型(LLMs),Rexera 开发了复杂的 AI 智能体。这些 AI 智能体能够执行复杂的认知任务,例如:

  • 订单支付结算声明
  • 从文件中提取关键信息
  • 执行质量控制检查

以下,我们将探讨 Rexera 如何创建一个强大的质量控制(QC)应用程序,该应用程序能够像人类操作员一样精确地审查房地产业务流程,并主动识别问题以防止延误。我们将探索他们的系统如何从最初的单提示方法演变为使用 LangGraph 的更可控和准确的解决方案。

Rexera 的 AI 智能体如何通过 LangGraph 驱动质量控制-1

 

初始方法:单提示 LLM 检查及其局限性

质量控制在房地产交易中至关重要。Rexera 开发了一款专门的 QC 应用程序,每天审查数千个工作流程。此应用程序检查房产交易各个阶段可能出现的错误,包括数据处理、客户沟通以及与房主协会(HOA)、县政府办公室、公用事业公司等相关方的互动。

为了确保房地产交易的质量,Rexera 最初实施了多个单提示 LLM 检查。这些检查旨在验证:

  • 文件的准确性
  • 客户期望的满足情况
  • 工作流程的及时性(SLA 合规性)
  • 成本控制

然而,这种方法存在局限性。单提示 LLM 难以应对房产交易流程的复杂性,原因包括它们无法掌握整个工作流程的全貌,具有有限的上下文,并且无法正确处理多维场景。

Rexera 使用以下三个关键指标评估 LLM 检查的效果,在数千个工作流程中进行测试:

  1. 准确性:问题识别的正确率评分
  2. 效率:每笔交易的执行速度
  3. 成本效益:与 LLM 相关的成本

这种方法通过标记潜在问题并减少人工审核需求来简化了质量控制。然而,Rexera 认识到需要更高级的解决方案来有效处理复杂的房地产工作流程。

 

进化到 AI 智能体:尝试 CrewAI

意识到单提示 LLM 的局限性后,Rexera 尝试使用 CrewAI 的多智能体方法,其中每个 AI 智能体负责交易流程中的不同部分。例如,一个智能体的定义可能是:

  • 角色:“高级内容质量检查分析师”
  • 任务:“检查是否已按客户要求订购所有 HOA 文件,并验证相应的 ETA 和成本信息是否已发送给客户。”

与单提示 LLM 相比,这种方法带来了一些改进:

  • 误报(错误地标记非问题)的比例从 35% 降至 8%。
  • 漏报(未能标记真实问题)的比例从 10% 降至 5%。

然而,CrewAI 方法也面临一个关键挑战。尽管 AI 智能体能力强大,但有时会在决策中走错路径,就像 GPS 系统选择了一条更长的路线一样。这种缺乏精确控制的情况意味着在复杂场景中,智能体可能会偏离轨道,从而导致误报或漏报。

 

迁移到 LangGraph 以实现精确和控制

为了克服 CrewAI 方法的局限性,Rexera 转向 LangGraph,为各种场景定制设计决策路径,尤其在处理复杂案例时受益匪浅。LangGraph 是由 LangChain 团队构建的可控智能体框架,为 Rexera 带来了更多优势,包括人类参与的工作流集成、状态管理等。

为了说明基于 LangGraph 的新方法的有效性,我们以加急订单为例。这是房地产业务流程中的常见复杂情况,需要比标准时间表更快地完成交易。

通过使用 LangGraph,Rexera 为质量控制(QC)应用程序创建了一个类似树状结构的体系,支持循环和分支。此结构使 QC 应用程序能够根据加急要求导航不同路径。

当应用程序识别到加急订单时,会沿着树状结构中的“加急订单”分支进行处理。对于标准订单,应用程序遵循另一条分支,专注于常规处理检查。

-1

这种由 LangGraph 启用的树状结构,通过引入更具确定性的决策流程并减少因路径选择错误带来的随机性,大幅提升了 Rexera 在质检流程中的准确性和完整性。这一变化确保了结果的一致性,使工作流程能够准确且高效地完成。

通过将 LangGraph 应用于已有的 CrewAI 改进成果中,实现了以下优化:

  • 假阳性率从 8% 降至 2%
  • 假阴性率从 5% 降至 2%

针对相同的加急订单场景,以下示例分析了在每种新架构下的质检结果:

单一提示的大语言模型(LLM)输出:

  • 发现的问题: "True"
  • 解释: "我们在与客户的沟通中未明确承认加急请求。"
  • 分析: 假阳性 ——虽然实际上承认并执行了加急请求,但 LLM 由于处理复杂多步骤交互的能力有限,未能识别这一点,从而错误地标记了问题。

CrewAI 输出:

  • 发现的问题: "False"
  • 解释: "客户请求了一个加急订单,团队已经承认并处理了该请求。"
  • 分析: 部分准确 ——CrewAI 识别出了加急订单已被执行的正确结果,但未注意到订单类型的差异,例如是否在系统中正确标记并处理为加急订单。

LangGraph 输出:

  • 发现的问题: "True"
  • 解释: "订单详情显示 '加急订单:否',尽管客户请求了加急并且我们已承认并执行了加急订单。"
  • 分析: 完全准确 ——LangGraph 不仅确认了承认和执行了加急订单,还识别出了订单类型记录中的不一致。通过遵循自定义决策路径,它确保了加急请求的承认和订单类型的正确处理均得到验证,从而避免了潜在的延迟或问题。

结论

通过利用 LangGraph 的循环和分支功能,Rexera 创建了一个更加智能和适应性强的质检应用程序,确保其 AI 代理能够针对每种特定场景执行正确的检查,从而提升了房地产交易中的效率和准确性。

AI轻松学

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样,是每个人的必备技能。 掌握AI会让你在求职中占据优势,在未来的工作和学习中事半功倍。

查看详情>
未经允许不得转载:首席AI分享圈 » Rexera 的 AI 智能体如何通过 LangGraph 驱动质量控制

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们
zh_CN简体中文