다중 지능 협업 시스템이 오류를 일으키기 쉬운 이유는 무엇인가요?

导言

近年来，多智能体系统（MAS）在人工智能领域引起了广泛关注。这些系统通过多个大语言模型（LLM）智能体的协作，试图解决复杂的、多步骤的任务。然而，尽管人们对 MAS 充满期待，其在实际应用中的表现却不尽如人意。与单智能体框架相比，MAS 在各类基准测试中的性能提升微乎其微。为了深入探究这一现象背后的原因，一项由Mert Cemri等人主导的全面研究应运而生。

研究背景与目标

该研究旨在揭示阻碍MAS有效性的关键挑战。研究团队分析了五种流行的MAS框架，涵盖超过150项任务，并邀请了六位专家进行人工标注。通过对150多个对话轨迹的深入分析，研究团队识别出14种独特的失败模式，并提出了一个适用于各种MAS框架的全面分类法——多智能体系统失败分类法（MASFT）。

주요 결과

1. 失败模式的分类

MASFT将智能体执行过程划分为三个阶段：预执行、执行和后执行，并识别出每个阶段可能出现的细粒度失败模式。这些失败模式被归类为以下三大类：

• 规范与系统设计失败：包括系统架构设计缺陷、对话管理不当、任务规范不明确或违反约束，以及对智能体角色和职责的定义或遵循不足。例如，ChatDev在执行国际象棋游戏任务时，未能正确理解用户输入，导致生成的游戏不符合初始要求。
• 智能体间错位：涵盖无效沟通、协作不畅、智能体之间行为冲突，以及逐渐偏离初始任务。例如，在ChatDev创建类似Wordle游戏的过程中，程序员智能体与多个角色进行了七轮对话，但未能更新初始代码，导致生成的游戏缺乏可玩性。
• 任务验证与终止：涉及执行提前终止，以及缺乏确保交互、决策和结果准确性、完整性和可靠性的机制。例如，在ChatDev的国际象棋游戏实现场景中，验证智能体仅检查代码是否编译，而未运行程序或确保其符合国际象棋规则。

2. 失败模式分析

研究团队发现，MAS的失败并非单一原因所致，而是多种因素共同作用的结果。以下是一些关键发现：

• 规范与系统设计失败노래로 응답智能体间错位是导致MAS失败的主要原因。这表明，MAS的架构设计和智能体之间的交互机制需要进一步优化。
• 不同MAS框架在失败模式分布上存在显著差异。例如，AG2在智能体间错位方面的失败案例较少，但在规范和验证问题上表现不佳；而ChatDev在验证问题上的失败案例较少，但在规范和智能体间错位方面面临更多挑战。这些差异源于不同的系统拓扑设计、通信协议和交互管理方式。
• 验证机制在MAS中扮演着至关重要的角色，但并非所有失败都可以归咎于验证不足。其他因素，如规范不明确、设计不当和沟通效率低下，也是导致失败的重要因素。

改进策略

为了提高MAS的鲁棒性和可靠性，研究团队提出了以下两类改进策略：

1. 战术性方法

• 改进提示语：提供清晰的任务描述和角色定义，鼓励智能体之间的积极对话，并在完成任务后添加自我验证步骤。
• 优化智能体组织：采用模块化设计，定义明确的对话模式，并设置终止条件。
• 교차 검증：通过多次LLM调用和多数投票机制，或在验证之前进行重新采样，以提高验证的准确性。

2. 结构性策略

• 建立标准化的通信协议：明确意图和参数，以减少歧义并增强智能体之间的协调。
• 强化验证机制：开发跨领域的通用验证机制，或针对不同领域定制验证方法。
• 집중 학습：通过强化学习对MAS智能体进行微调，奖励与任务一致的行为，并惩罚效率低下的行为。
• 不确定性量化：在智能体交互中引入概率置信度度量，当置信度低于预设阈值时，智能体可以暂停以收集更多信息。
• 记忆与状态管理：开发更有效的记忆和状态管理机制，以增强上下文理解并减少通信中的歧义。

案例研究

研究团队在AG2和ChatDev两个案例研究中应用了部分战术性方法，并取得了不同程度的成功：

• AG2 - MathChat：改进提示语和智能体配置后，任务完成率有所提高，但新拓扑结构并未带来显著改善。这表明这些策略的有效性取决于底层LLM的特性。
• ChatDev：通过细化角色特定的提示语和修改框架拓扑结构，任务完成率有所提高，但改进幅度有限。这表明需要更全面的解决方案。

평결에 도달하기

这项研究首次对基于LLM的多智能体系统的失败模式进行了系统性的调查，并提出了MASFT这一分类法，为未来的研究提供了宝贵的参考。尽管战术性方法可以带来一定的改进，但要构建更强大、更可靠的MAS，还需要更深入的结构性策略。

향후 전망

未来的研究应致力于开发更有效的验证机制、标准化通信协议、强化学习算法以及记忆和状态管理机制，以应对MAS面临的挑战。此外，探索如何将高可靠性组织的原则应用于MAS设计，也是一个值得深入探讨的方向。

图表与数据

图1. 五种流行的多智能体LLM系统的失败率，其中包含GPT-4o和Claude-3。

图2. MAS失败模式分类法。智能体间对话阶段表明失败可能发生在端到端MAS系统的不同阶段。如果一个失败模式跨越多个阶段，则意味着该问题涉及或可能发生在不同阶段。百分比表示每种失败模式和类别在我们分析的151个轨迹中出现的频率。

图3. MAS失败模式相关性矩阵。

通过这项研究，MAS领域的从业者可以更好地理解系统失败的原因，并采取更有效的措施来提高MAS的性能和可靠性。

原文：https://arxiv.org/pdf/2503.13657