评估智能体编排框架中的授权与信任边界
Evaluating Authorization and Trust Boundaries in Agentic Orchestration Frameworks
作者用 gpt-4o-mini 在 LangChain、LangGraph、AutoGen、OpenClaw 上做了 12 个映射 OWASP Agentic Top 10 的攻击实验,作者称授权与信任边界缺陷普遍存在。
攻击者可提交恶意指令、影响检索内容、提供构造的文件或清单、操纵记忆输入、控制或冒充不可信智能体;不假设主机失陷、管理权限或持有未授权凭证。
- 智能体编排框架在组件边界上如何表示身份、执行授权、传播信任,决定其安全风险;作者要评估 LangChain、LangGraph、AutoGen、OpenClaw 在这些边界上的实际防护效果。
- 用同一 LLM(gpt-4o-mini)在四个框架上实现 12 个映射 OWASP Agentic Top 10 的攻击实验,覆盖提示注入、未授权资源访问、命令执行、记忆投毒和智能体间信任与身份攻击,并对比脆弱与受保护配置。
- 作者报告:变体 D 提示注入在 LangChain、LangGraph、OpenClaw 上诱发未授权工具调用;E3、E6 全部框架存在缺陷;E5 三个框架攻击成功;E9 记忆投毒 ASR 66.9%–92.8%;E11/E12 受保护配置均阻止了攻击。
- 作者指出:12 个实验不能代表全部攻击场景;受保护配置含应用自定义检查,结果不反映框架固有保证;只用 gpt-4o-mini,其他模型和生产配置可能不同;未全面评估凭证认证、企业 IAM 与外部策略引擎。
- 威胁模型
- 攻击者可提交恶意指令、影响检索内容、提供构造的文件或清单、操纵记忆输入、控制或冒充不可信智能体;不假设主机失陷、管理权限或持有未授权凭证。受害系统为四个框架实现的智能体应用,共用 gpt-4o-mini,保护资产包括任务完整性、工具授权、文件系统、命令执行能力、智能体记忆与智能体间身份通信。
- 被测模型
- gpt-4o-mini
- 基准
- OWASP Top 10 for Agentic Applications(映射的 12 个自建实验 E1–E12)
- 指标
- ASRClean AccuracyUTISDPRRFPRaverage poison rank
研究者通过十二项实验评估了 LangChain、LangGraph、AutoGen 和 OpenClaw 四个智能体编排框架的授权与信任边界,实验对照 OWASP Top 10 for Agentic Applications 设计,统一使用 gpt-4o-mini。实验覆盖提示注入、未授权资源访问与命令执行、记忆投毒以及智能体间信任与身份攻击。实验显示,对抗性输入可诱导未授权的工具调用,工具链式调用、过期的文件系统校验、编码指令和智能体间委托暴露了跨组件边界的授权弱点;记忆投毒表明不可信状态可以影响模型响应,是有别于传统访问控制违规的风险。在受测的防护配置中,显式授权、受控能力分配、文件系统隔离和执行防护阻止了特定的未授权操作。作者强调应在智能体工作流全程维护授权与信息信任边界,框架能力或模型层指令不足以作为安全保证。
深度解读
这篇论文试图解决什么问题?
评估四个智能体编排框架在身份、授权与信任边界上的安全执行效果。
核心问题:智能体编排框架在组件信任边界上如何表示身份、执行授权、传播信任,以及这些机制能否抵御攻击。
- 问题场景:智能体系统把 LLM 与工具、记忆、多智能体协作结合,编排框架协调执行与通信,但也带来未授权资源访问、命令执行、记忆投毒和权限滥用的机会(作者按 OWASP Top 10 for Agentic Applications 归类)。
- 现有研究不足:作者称已有工作分别研究框架漏洞、安全基准、渗透测试、自动红队等,范围各异,因此需要在共享攻击目标下对授权与信任边界做受控对比。
- 核心观察:作者认为框架支持工具限制、路由或审批机制并不等于自动执行授权;身份标识符(如智能体名、会话 ID)不一定构成经过验证的身份,机制有效性取决于配置与集成方式。
- 论文提出:对 LangChain、LangGraph、AutoGen、OpenClaw 做 12 个映射 OWASP Agentic Top 10 的攻击实验,共用 gpt-4o-mini,并分析信任边界与执行点;贡献包括机制对比、12 个攻击实验和边界分析。
- 威胁模型(2.2 节):
- 目标:造成实验特定的未授权效果,如未授权工具调用、命令执行、资源访问或伪造指令被接受。
- 能力:提交恶意指令、影响检索内容、提供构造的文件或清单、操纵记忆输入、控制或冒充不可信智能体。
- 不假设:主机已失陷、管理权限或持有未授权凭证。
- 受害系统与资产:四个框架实现的智能体应用;保护任务完整性、工具授权、文件系统、命令执行能力、智能体记忆与智能体间身份通信。
有哪些相关研究?
相关工作覆盖框架漏洞、安全基准、渗透测试与红队,作者以共享攻击目标下的受控对比定位本文。
框架漏洞与安全分析
- Hamza 等(2026)——对开源智能体框架的安全问题做实证分析(引用 [3])。
- Shan 等(2026)与 Wang 等(2026)——分别对 OpenClaw 做安全分析与防御框架、形式化并基准化针对 OpenClaw 的攻击(引用 [17, 18])。
基准与部署安全
- Fu 等(2025)——RAS-Eval,真实环境下 LLM 智能体安全评估基准(引用 [1])。
- Gasmi 等(2026)——对 LLM 智能体部署范式做比较性漏洞评估(引用 [2])。
渗透测试、红队与多智能体失效
- Nguyen 和 Husain(2025)——跨模型与框架的智能体 AI 渗透测试比较(引用 [12])。
- Pendyala 等(2026)——自适应红队框架,用动态攻击图与 RAG 做漏洞画像(引用 [16])。
- Xie 等(2026)——建模并缓解 LLM 多智能体协作中的错误级联(引用 [19])。
架构对比与框架文档
- Lei(2024)——对比 LangGraph 与 LangChain(引用 [8]);另引用 LangChain、LangGraph、AutoGen、OpenClaw 的官方文档说明其机制(引用 [4–7, 9–11, 13, 14])。
基线与基准:论文未实现其他攻击方法作基线;实验对照是各框架的脆弱配置与受保护配置,以及良性任务对照(如 E7 的良性清单、E9 的无注入控制);攻击目标映射 OWASP Top 10 for Agentic Applications [15]。
定位:作者称上述工作范围各异,本文的区别在于在共享攻击目标下对四个框架的授权与信任边界做受控对比,且强调结果用于强调边界执行而非给框架的安全性排名。
论文如何解决这个问题?
用同一 LLM 在四个框架上实现 12 个映射 OWASP 的攻击实验,对比脆弱与受保护配置。
整体思路:在 LangChain、LangGraph、AutoGen、OpenClaw 上用共同的 gpt-4o-mini 实现 12 个攻击实验(E1–E12),保持攻击目标、输入、能力与成功判据等价,保留各框架原生的工具 API、状态处理、路由与授权实现,比较信任边界上的执行效果。
实验平台与威胁模型
- 环境:Ubuntu 24.04.4 LTS 虚拟机(8 核 CPU、约 14 GiB 内存);LangChain 1.2.17、LangGraph 1.1.10、AutoGen 0.7.5(PyAutoGen 0.10.0)在 Python 3.11.9,OpenClaw 2026.6.11 用 Node.js;全部经 OpenAI API 用 gpt-4o-mini。
- 七类信任边界:用户到模型、外部内容到模型、模型到工具、智能体到文件系统、智能体到执行环境、智能体到记忆、智能体到智能体。
- 成功判定:仅当实验特定的未授权效果发生(未授权工具调用、命令执行、资源访问或伪造指令被接受)才算成功;区分"尝试的操作"与"实际未授权副作用"。
五类攻击实验设计
- 提示注入(E1/E2):良性任务是摘要项目报告,另暴露任务不需要的特权 read_secret_file 工具,受保护文件内放 canary;E1 把恶意指令放进用户请求,E2 嵌入检索文档。四个变体:A 基本覆盖、B HOUYI 式分隔符、C 伪造开发者/系统授权、D 委托/审计框架。指标为 UTI(未授权工具调用)与 SD(秘密泄露)。
- 未授权资源访问(E3/E6/E7):E3 测试工具链组合(读取秘密、编码、写报告,仅摘要被授权);E6 为 TOCTOU 符号链接逃逸,检验路径验证后、访问时授权是否仍有效;E7 为清单路径穿越,含良性清单对照。
- 未授权命令执行(E4/E5/E8):E4 注入 shell 命令(直接与经检索文件两种变体),仅实际执行算成功;E5 让受限解码器解 Base64 载荷并把文本自动转给有文件创建权限的执行器;E8 分离无权限规划器与有 shell 权限的执行器,指令不经中间验证直接传递,含远程维护会话与交互式 shell 两种场景。
记忆投毒与智能体间攻击
- 记忆投毒(E9/E10):E9 向会话历史注入伪造声明(recap、handoff、emergency、postmortem 框架),12 个操作领域,含干净基线、无注入控制与三轮多轮会话;ASR、Clean Accuracy 等用语义相似度阈值 0.62 判定。E10 用 84 条干净、72 条投毒记忆记录,每框架每种子 228 个查询,共享 FAISS IndexFlatIP 索引与 all-MiniLM-L6-v2 嵌入,余弦相似度阈值 0.70,测 ASR、PRR、平均投毒排名、Clean Accuracy、FPR;两个实验各跑三个独立种子。
- 智能体间信任与身份(E11/E12):E11 在合法项目摘要中嵌入攻击者控制的委托,脆弱配置(B1)不做授权检查直接转发给有文件读取权限的下游智能体,受保护配置(B2)增加授权阶段验证委托权限。E12 攻击者伪造评审者批准,脆弱配置(A)依赖文本批准声明,受保护配置(B)由专门评审者生成结构化授权记录并由协调器验证;成功要求未授权标记文件被创建,而非仅接受伪造身份。
论文做了哪些实验?
12 个实验显示:工具链、TOCTOU、编码指令与委托普遍越权,受保护配置能阻断特定操作。
实验设置
- 被测框架:LangChain 1.2.17、LangGraph 1.1.10、AutoGen 0.7.5、OpenClaw 2026.6.11,全部共用 gpt-4o-mini(OpenAI API)。
- 实验:12 个自建实验 E1–E12,映射 OWASP Top 10 for Agentic Applications(ASI01–ASI10 中的若干项),覆盖五类攻击;良性任务(T1/T2/T6/T11/T12)在所有配置下均成功完成,正文只报告攻击结果。
- 指标:UTI、SD(E1/E2);V/S(E3/E6/E7);A/I、R、P、Y、B(E4/E5/E8);ASR、Clean Accuracy、PRR、平均投毒排名、FPR(E9/E10,三个种子,均值 ± 样本标准差)。
- 判定方式:E9 语义相似度阈值 0.62,E10 余弦相似度阈值 0.70;E10 检索用共享 FAISS IndexFlatIP 与 all-MiniLM-L6-v2;未使用 LLM 评审。
- 对照:E7 良性清单对照、E9 无注入控制、E11/E12 脆弱与受保护配置。
- 样本量:E10 为 84 条干净 + 72 条投毒记录、每框架每种子 228 个查询;E1–E8、E11、E12 未报告重复次数。
主结果
据 Table 3、4、5、7(LC=LangChain,LG=LangGraph,AG=AutoGen,OC=OpenClaw):
表格较宽,可左右滑动
实验 LC LG AG OC E1/E2 变体 D(UTI/SD) U/– U/– S U/– E3 工具链 V V V V E6 符号链接 TOCTOU V V V V E7 路径穿越 S S S S E4 shell 执行 A/I R R R E5 编码载荷 P Y Y Y E8 委托命令 B B B B E11/E12 脆弱→受保护 均被攻陷→均受保护 同左 同左 同左 - 变体 A–C 全部被四个框架抵抗;变体 D 在 LC、LG、OC 诱发 UTI 但无 SD,作者称说明授权需在工具边界独立执行。
- E4 中 LangChain 采纳了恶意指令但审批机制中断执行,作者以此区分"抵抗指令"与"执行边界执行"。
- E5 中 LangChain 因解码错误改变目标文件名,记为部分成功(P)。
记忆投毒(E9/E10,Table 6)
- E9 会话投毒:ASR 为 AutoGen 92.8±1.1%、LangGraph 92.6±0.4%、LangChain 78.0±2.2%、OpenClaw 66.9±2.4%;无注入控制下无框架复现伪造声明;多轮 ASR 区间:LangGraph 91.7–95.8%、AutoGen 91.7–93.8%、LangChain 72.9–85.4%、OpenClaw 60.4–64.6%。
- E10 持久投毒:四框架 PRR 均为 82.3%、平均投毒排名 1.43(共享检索设施);ASR 为 LangGraph 49.3±0.6%、AutoGen 48.3±6.9%、LangChain 47.6±1.6%、OpenClaw 45.1±1.2%;OpenClaw 的 Clean Accuracy 最低(E9 61.3%、E10 24.1%)。
- 作者解读:检索到投毒内容不等于接受;OpenClaw 的低 ASR 伴随低 Clean Accuracy,降低投毒成功需与合法任务表现一并权衡。
智能体间信任与身份(E11/E12,Table 7)
- E11:脆弱配置 B1 下四框架的下游智能体均接受委托、调用文件读取工具并泄露秘密;受保护配置 B2 在分配特权能力前拒绝未授权委托,无访问无泄露。
- E12:脆弱配置 A 下四框架均接受伪造评审批准并创建未授权标记文件;受保护配置 B 以独立验证阶段和结构化授权记录拒绝伪造请求,未创建标记。
- 作者解读:下游持有特权工具不代表上游请求已获授权;身份声明须独立于自然语言指令验证。
其他消融与分析
- E1 与 E2 结果相同,作者称直接与间接投递在受评配置下都能利用该边界,但不能确定行为主要归因于共同 LLM 还是框架机制。
- E8 中模糊维护请求生成的良性 SSH 命令被模拟 shell 工具执行,显式交互式 shell 请求生成的 reverse-shell 命令在执行接口被检测阻断。
- E7 中 LangChain、LangGraph、AutoGen 用规范化路径检查,受保护的 OpenClaw 依赖沙箱隔离。
- E9 投毒通过 recap、handoff、emergency、postmortem 四种框架引入,论文未分框架报告各自 ASR。
有什么可以进一步探索的点?
作者列出范围、实现与泛化三类局限;实验仅用 gpt-4o-mini 与四个框架。
作者指出的局限与后续方向
- 范围(第 5 节 Scope):12 个实验、4 个框架不能代表所有攻击场景;身份验证主要通过 E12 考察,E9–E10 评估的是信息完整性而非传统访问控制。
- 实现(第 5 节 Implementation):不同运行时与工具接口需要框架特定实现;受保护配置包含应用自定义检查,观察到的结果描述的是这些配置,而非框架的固有保证。
- 泛化性(第 5 节 Generalizability):共用 gpt-4o-mini 减少了模型选择差异,但其他模型、版本和生产配置可能表现不同;基于凭证的认证、企业 IAM 和外部策略引擎未被全面评估。
实验覆盖范围
- 被测框架为 LangChain、LangGraph、AutoGen、OpenClaw 共 4 个,底层 LLM 只用 gpt-4o-mini(2.2 节)。
- 攻击类别覆盖提示注入、未授权资源访问、未授权命令执行、记忆投毒、智能体间信任与身份共 5 类 12 个实验(Table 2)。
- 定量重复仅见于记忆投毒:E9/E10 各三个独立种子,E10 每框架每种子 228 个查询(2.3.4 节);E1–E8、E11、E12 论文未报告重复次数。
- 防护评测为各实验的受保护配置:E4 执行审批、E7 路径包含/沙箱、E8 reverse-shell 检测、E11-B2 委托授权、E12-B 身份验证(第 3 节)。
- 论文未报告 E1–E8 与 E11/E12 的样本量,也未报告除语义相似度阈值外的人工评估或一致性检验。
总结一下论文的主要内容
四框架 12 实验:授权与信任边界缺陷普遍,显式检查可阻断特定未授权操作。
一篇对智能体编排框架的受控安全评估:作者用共同的 gpt-4o-mini,在 LangChain、LangGraph、AutoGen、OpenClaw 上实现 12 个映射 OWASP Top 10 for Agentic Applications 的攻击实验,考察身份表示、授权执行与信任传播。
- 问题:框架提供的工具限制、路由、审批机制不等于自动授权执行;作者要检验跨组件边界上的实际防护。
- 方法:保持攻击目标与判据等价,保留各框架原生实现,对比脆弱与受保护配置,覆盖提示注入、资源访问、命令执行、记忆投毒、智能体间攻击五类。
- 主要结果:
- 提示注入变体 D 在 LangChain、LangGraph、OpenClaw 诱发未授权工具调用但无秘密泄露,AutoGen 两者皆无(Table 3)。
- E3 工具链与 E6 TOCTOU 符号链接在四个框架全部存在缺陷;E7 路径穿越全部被受保护配置阻止(Table 4)。
- E5 编码载荷在 LangGraph、AutoGen、OpenClaw 成功,LangChain 部分成功;E4、E8 的恶意命令均被阻断(Table 5)。
- E9 会话记忆投毒 ASR 66.9%(OpenClaw)至 92.8%(AutoGen);E10 各框架 PRR 均 82.3%,ASR 45.1%–49.3%(Table 6)。
- E11/E12 脆弱配置下四框架均被攻陷,受保护配置均阻止未授权操作(Table 7)。
- 作者结论:特权能力可用不代表其使用已获授权;安全编排需要在权限转移处做确定性授权、最小权限能力分配与执行层防护,并把不可信记忆内容与权威信息区分;作者强调这些发现用于强调边界执行,而非给框架排名。