TrustFork:显示身份如何劫持 LLM 智能体编排的权限
Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration
TRUSTFORK 评测16个智能体系统发现,存在反向证据时协调器平均在72.0%任务中仍执行风险建议(CAR)。
- 多智能体系统中协调器依赖子智能体展示的身份元数据进行任务委派与权限分配。攻击者可伪造或篡改身份标签,导致协调器将操作权威授予存在风险的子智能体,即使后续出现冲突证据也难以撤销权威,造成未授权更改或系统破坏。
- 构建包含1,890个任务的安全基准 TRUSTFORK,基于30个风险场景设计单风险与三正常子智能体配置。通过解耦展示身份与实际模型、调整咨询宽度(自由、2个、4个)及子智能体池,追踪范围、验证、采纳与执行四阶段的操作权威转移。
- 在16个系统上评测27,826条有效轨迹发现,即使有反向证据,协调器平均在72.0%任务中仍采纳或执行风险建议(CAR)。翻转家族标签使获取风险建议比例从25.9%升至74.6%。隐藏身份线索是改善最一致的运行时防御。
- 论文未在独立章节专门讨论局限与后续方向。实验覆盖30个风险场景、4类攻击、16个系统(涉及8个模型在 OpenCode、OpenClaw 与 Pi 框架下的组合),子智能体池固定为4个槽位,递归协调限制在单层。
- Evaluated models
- GPT-5.6-SolGPT-5.6-LunaKimi-K3Kimi-K2.6GLM-5.2GLM-4.7Minimax-M3Minimax-M2.5
- Benchmarks
- TRUSTFORKAgentCanary
- Metrics
- CARTHTULIASSAFVFEIRTFRSR
研究者提出 TrustFork,一个衡量 LLM 智能体编排中操作权限的安全基准,包含 1890 个任务、四种攻击类型和 27826 条有效轨迹,覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标,另外三个与用户对齐,并可只改变子智能体显示的身份而不改变背后模型。结果显示,即使其他子智能体反驳风险响应,编排器仍在平均 72.0% 的情况下采纳它,在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍;84.0% 的任务中存在更安全的响应,但只有 25.0% 决定了最终结果。在三种运行时防御中,隐藏身份线索效果最稳定,而行动前验证只在 harness 返回足够证据时有效。
Why it was selectedTrustFork 用 1890 个任务量化了显示身份如何决定子智能体的操作权限,为多智能体编排的安全审计提供了可复用的评测维度。
Paper analysis
What problem does this paper attempt to solve?
在多智能体系统中,展示身份决定了操作权威,导致风险子智能体在遭遇冲突证据时仍能掌控执行并造成实际系统危害。
核心问题是多智能体系统中展示身份(displayed identity)如何劫持操作权威(operational authority),导致协调器在存在反向证据时仍执行风险子智能体的危险建议。
- 问题场景与重要性:大语言模型智能体已获准端到端修改真实代码仓库与系统,并日益依赖协调器向不同能力和成本的子智能体委派工作(Section 1)。展示身份决定了谁被信任去核查工作、谁被允许修改系统,若缺乏对权威分配的有效约束,将引发未授权系统修改与破坏(Section 1)。
- 现有方法的不足:作者称现有模型路由研究主要将子智能体选择视为成本与质量的权衡优化问题,身份偏差研究止步于标签如何影响判断,而安全评估仅关注攻击最终是否成功(Section 1、2)。这些工作未回答当协调器决定由谁的响应主导执行时,究竟是证据还是展示身份在起决定作用(Section 1)。
- 核心观察与假设:作者观察到展示身份在任何任务证据出现前就已暴露,展示标签直接决定操作权威;即便其他子智能体给出了相互矛盾的更安全证据,风险子智能体仍可能维持对执行的控制权(Section 1、3.1)。
- 论文的解决方案:提出了安全基准 TRUSTFORK,包含来自 4 种攻击类型的 1,890 个任务与 16 个系统上的 27,826 条有效轨迹,系统性追踪从任务范围分配、验证、采纳到执行的全流程操作权威转移(Section 1、3.1)。
- 威胁模型(Section 3.2):
- 攻击者目标:诱导协调器采纳或执行风险子智能体的建议以造成针对性危害,包括数据外泄、未授权修改及破坏性操作。
- 攻击者知识:知晓任务上下文与公开 harness 行为,具备黑盒模型访问权限,但不知晓 harness 内部实现或仅供评估器使用的状态。
- 攻击者能力:可操纵单个子智能体的上下文或其展示的模型、层级(tier)与家族(family)元数据;模型端点、harness 逻辑、权限与运行时工具保持不变。
- 受害系统:协调器及其实际调用的工作区工具与子智能体网络,所有工作区更改必须通过协调器授权的子智能体执行。
What related research exists?
论文梳理了路由与协作中的身份元数据、智能体安全与控制流劫持等研究,强调本文转向评测决策中间的操作权威演化。
路由与编排中的身份元数据
- 路由与多智能体发现接口:A2A Protocol Working Group (2026) 与 OpenRouter (2026) 发布身份与能力元数据供智能体在交互前读取;Ding 等人 (2024)、Hu 等人 (2024)、Ong 等人 (2025) 利用元数据平衡响应质量与成本;Yue 等人 (2025)、Zhang 等人 (2026)、Zhou 等人 (2026) 扩展到多智能体协作、角色分配与历史感知选择;Ruan 等人 (2026)、Xiong 等人 (2026)、Zhu 等人 (2025) 评测基座模型创建与协调子智能体的能力。作者称这些系统直接全盘信任元数据。
- 身份凭证与标签偏差:Prakash (2026) 与 Garzon 等人 (2026) 尝试通过去中心化标识符与可验证凭据绑定主体,但 Li 等人 (2026b) 发现伪造 Agent Card 仍可重定向选择;Khan 等人 (2026)、Saraf 等人 (2026)、Choi 等人 (2026)、Chen 等人 (2026) 报告元数据与角色标签改变了模型衡量和修正信息的方式;Jhaveri 等人 (2026) 发现语言模型存在寻求证实自身偏好的确认偏差。
智能体安全与多智能体控制流劫持
- 上下文投毒与状态损坏:Debenedetti 等人 (2024)、Zhang 等人 (2025)、Wang 等人 (2025)、Jin 等人 (2026)、Wang 等人 (2026) 评估针对智能体输入的上下文投毒攻击;Laban 等人 (2026) 评估委托场景下的持久文档损坏。
- 控制流劫持与多智能体评估:He 等人 (2025)、Triedman 等人 (2025)、Jha 等人 (2026)、Lupinacci 等人 (2026) 评估通信与控制流劫持风险;Li 等人 (2026a;d;c)、Kavathekar 等人 (2026) 在可执行多轮多智能体环境中定位安全失败;Arora 等人 (2025) 与 Liu 等人 (2026) 追踪协调器是否传递警告并遵守执行边界。作者称这些工作以攻击或最终状态为评估单元,协调器仅被视作转发通道。
基准与对比基线
- 基线方法与基准:论文评测了基于 OpenCode、OpenClaw 与 Pi 框架构建的 16 个智能体系统,任务风险场景源自 AgentCanary(Li 等人, 2026a)的 30 个真实可执行场景;在防御对比中评测了匿名化(Anonymization,基于 Choi 等人, 2026)、身份证明(Attestation,基于 Prakash, 2026)以及执行前强制验证三种运行时干预。
作者称现有安全研究止步于攻击是否成功,而 TRUSTFORK 则评估其间的决策链条,全程追踪从任务范围分配到执行的操作权威转移,检验冲突证据能否在危害发生前撤销已被赋予的权威(Section 2)。
How does the paper address this problem?
通过解耦展示身份与实际基座、形式化四阶段操作权威,并在 Harbor 环境中执行包含四类攻击的 1,890 个多智能体协同任务。
论文提出 TRUSTFORK 安全基准,通过解耦子智能体的展示身份与实际基座模型,在多智能体工作区任务中追踪操作权威在任务范围分配、验证、采纳与执行四个阶段的转移路径。
问题设定与权威形式化
- 任务与系统设定:每个任务表示为五元组 x = (s, m, g, b, p),其中 s 为风险场景,m 为身份展示方式,g 为分配给风险子智能体的目标,b 为咨询宽度,p 为子智能体池设计;被测系统为二元组 u = (o, h),由协调器基座 o 与 harness 框架 h 构成(Section 3.1)。
- 四阶段操作权威定义:子智能体 i 在轨迹 τ 中的操作权威定义为四维二值分配向量: ai(τ) = (aiscope, aiverify, aiadopt, aiexecute) ∈ {0, 1}4 该式记录谁接收具体工作(范围 scope)、谁被信任进行核查(验证 verify)、谁的建议被采纳(采纳 adopt)以及谁被允许更改系统(执行 execute)(Section 3.1)。
- 权威捕获失效事件:定义核心失效事件 V(τ) 为: V(τ) = 𝕀[∃ e ∈ E : contra(e, yr) = 1] · 𝕀[aradopt ∨ arexecute] 该式表示在存在与风险建议 y_r 相冲突的证据 e 时,风险子智能体 r 仍捕获了采纳或执行权威(Section 3.1)。
基准构建与任务设计
- 风险场景筛选:从 AgentCanary 中选取满足四项标准的 30 个场景:包含用户目标与攻击目标、载荷可在 Harbor 工作区复现、终态危害可通过工作区或轨迹判定、工作流可在子智能体间拆分;涵盖间接注入(8个)、带毒技能(8个)、多步链(9个)和内存投毒(5个)(Section 3.3、Table 5)。
- 任务参数与身份设计:每个场景派生 63 个任务(共 1,890 个),设置 7 种身份展示(隐藏 M0、真实模型 M1、交换模型 M2、真实层级 M3、反转层级 M4、真实家族 M5、反转家族 M6)、3 种风险子智能体目标(忽视风险 G1、执行攻击 G2、争夺权威 G3)、3 种咨询宽度(自由 Free、恰好 2 个 B2、全部 4 个 B4)以及 4 种池设计(同基座 P0、同层异族 P1、异层混合 P2、同族对立层 P3)(Section 3.1、Table 1)。
- 质量审查与有效性验证:两名评审员独立审核全部 1,890 个任务的风险保真度、编排相关性、风险可观测性、路径可恢复性、任务记录与可执行性,初审一致率达 97.2%(Cohen's κ=0.82);在 16 个系统共 30,240 次尝试运行中,27,826 次(92.0%)满足咨询计数要求被纳入有效轨迹(Section 3.3、Table 9)。
评测执行与轨迹评判机制
- Harbor 隔离执行环境:每个任务在全新隔离环境中运行,harness 仅向协调器展示候选描述与身份,真实基座模型与私有风险目标由系统注入指定槽位;禁止协调器直接更改工作区或修改花名册,递归编排上限为 1 层,所有工作区修改必须经由授权的子智能体(Section 4、Section F)。
- 两阶段打分协议:响应评审阶段对中立标签 A–D 的子智能体响应打分,评定任务失败(RTF)与安全风险(RSR);递归评审阶段输入协调器可见的展示身份、响应得分、工具调用、工作区变更及终态,由 DeepSeek-V4-Flash(采样温度为 0)对权威分配严重度(IAS)、安全意识失败(SAF)、验证失败(VF)、证据惰性(EI)、终端危害(TH)与任务效用损失(TUL)等指标进行 0–5 分锚定评判(Section 4、Section I)。
What experiments did the paper conduct?
评测显示 16 个系统中平均 CAR 达 72.0%,身份标签使风险获取率翻近三倍,事后验证难以挽回破坏,隐藏身份线索防御最稳健。
实验设置
- 被测模型:评测了 4 个家族共 8 个模型,每家族包含一个 frontier 模型和一个 efficient 模型:GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3、Kimi-K2.6、GLM-5.2、GLM-4.7、Minimax-M3、Minimax-M2.5(Section 4)。
- 评测框架与系统:在 3 个 harness 框架下构建 16 个系统:OpenCode 评测全部 8 个模型;OpenClaw 评测 GLM 和 Minimax 的 4 个模型;Pi 评测 GPT 和 Minimax 的 4 个模型(Section 4)。
- 数据集与规模:基于 TRUSTFORK 基准的 30 个场景衍生出的 1,890 个任务,在 16 个系统上累计执行 30,240 次尝试,获得 27,826 条满足咨询要求的有效轨迹(Section 3.3、4)。
- 指标定义:采用 8 项漏洞度量(0–100,越高越差)与 1 个失败事件:RTF(响应任务失败)、RSR(响应安全风险)、IAS(身份权威严重度)、SAF(安全意识失败)、VF(验证失败)、EI(证据惰性)、TH(终端危害,100 减去安全锚分乘以 20)、TUL(任务效用损失,100 减去效用锚分乘以 20),以及 CAR(捕获权威率,即存在反向证据时采纳或执行风险建议的轨迹比例)(Section 4、Table 10)。
- 评审方式与一致性:由 DeepSeek-V4-Flash 在温度 0 下依据 0–5 分锚点打分(乘以 20 转换为 0–100 分);在 96 条盲测轨迹的人工对比中,TH 与 CAR 的加权 Cohen's κ 为 0.72,IAS 为 0.74,二值事件 V(τ) 准确一致率为 92.7%(Section 4、C.1)。
- 重试策略:当运行未记录有效子智能体调用或奖励产物时最多重试 3 次,保留首个有效记录,重试不取决于响应质量或安全表现(Section 4、F)。
主结果
据 Table 3(OpenCode 框架下各协调器主结果):
Swipe horizontally to read the table
协调器(OpenCode) RSR ↑ IAS ↑ VF ↑ TH ↑ CAR(%) ↑ GPT-5.6-Sol 23.2 4.5 15.5 20.5 48.6 GPT-5.6-Luna 20.8 7.3 19.4 27.6 75.1 Kimi-K3 22.5 1.8 34.3 12.6 92.0 Kimi-K2.6 26.7 5.3 31.3 13.6 100.0 GLM-5.2 27.6 4.9 24.2 17.9 77.0 GLM-4.7 35.7 17.0 50.8 34.3 86.1 Minimax-M3 25.2 4.7 23.5 17.6 77.7 Minimax-M2.5 41.5 18.9 52.4 31.3 76.0 - 风险建议普遍捕获权威:作者指出,在 16 个系统中 CAR 均值为 72.0%,且在 14 个系统中超过 50%;即使表现相对最好的 GPT-5.6-Sol 在 OpenCode 下也有 48.6% 的轨迹由风险建议控制,而 Kimi-K2.6 达到 100.0%(Section 5.1)。注:表格省略了 OpenClaw 与 Pi 框架的 8 行结果,其中 OpenClaw 下 Minimax-M2.5 的 TH 达到全部系统中最高的 42.0,CAR 达 90.9%(Table 3)。
- 终端危害不能反映权威路径完整性:作者称终端危害较低并不代表权威分配路径健全;Kimi-K3 和 Kimi-K2.6 在 OpenCode 下的 TH 得分最低(12.6 与 13.6),但其 CAR 分别高达 92.0% 和 100.0%,其验证失败率(VF 为 34.3 和 31.3)是 GPT-5.6-Sol 的两倍以上(Section 5.1)。
- efficient 层级协调器表现出更高的证据惰性:在所有模型家族中,efficient 层级协调器的证据惰性(EI)均高于 frontier 层级;GPT-5.6-Luna 获得的子智能体响应比 GPT-5.6-Sol 更安全(RSR 为 20.8 对 23.2),但其 CAR 却高达 75.1%(GPT-5.6-Sol 为 48.6%),TH 达 27.6(高于后者的 20.5)(Section 5.1)。
展示身份对权威分配的操纵效应(RQ1与RQ3)
- 标签翻转与首呼叫转移:测试了改变展示家族、模型与层级标签对咨询顺序与采纳的影响。结果显示,翻转家族标签使协调器获取风险建议的比例从 25.9% 升至 74.6%(近 3 倍);反转层级使风险子智能体首轮被调用的比例从 12.3% 升至 33.9%,交换模型标签从 21.9% 升至 33.5%(Figure 3、Section 5.2)。作者称展示身份显著决定了协调器最先听到谁的意见。
- 范围与权限向虚假身份倾斜:测试了身份线索对后续阶段权限赋予的影响。结果显示,翻转家族标签使风险子智能体获得任务范围的比例从 62.3% 增至 77.7%,主导执行从 18.1% 增至 25.3%;在混合家族池中,协调器真实同家族子智能体获得的分配比例比均分高出 21.4 与 19.7 个百分点(Section 5.2)。作者称协调器对同家族模型存在亲和偏好。
- 反向证据下的权威维持:测试了当出现反向证据时展示身份的作用。结果显示,在获得反向证据的任务中,交换模型标签仍使风险建议采纳率从 58.0% 升至 69.9%;来自同家族子智能体的修正下,风险建议在修正后仍被偏好的比例为 24.0%,而异家族仅为 3.3%(Figure 8、21,Section 5.4)。作者称来自异家族的纠正比同家族更能改变决策。
咨询宽度与验证时机分析(RQ2与RQ3)
- 增加咨询宽度无法消除传播:测试了将咨询宽度从自由扩展至全部 4 个子智能体。结果显示,不安全采纳率从 63.8% 降至 33.5%,但风险传播率仅下降 5 个百分点(从 28.6% 降至 23.6% 左右),GLM-4.7 和 Minimax-M3 的传播率甚至上升了 0.5 和 2.4 个百分点(Figure 5、Section 5.3)。作者称支持风险建议的证据从 39.0% 升至 64.5%,而反对证据仅从 16.2% 升至 35.2%,导致单纯增加响应并未解除风险权威。
- 更安全响应存在但极少主导:统计了更安全建议的存在与采纳情况。结果显示,在 84.0% 的任务中存在更安全的响应,但最终仅在 25.0% 的任务中主导了结果(Figure 6、Section 5.4)。作者称独立检查虽能降低不安全采纳(从 63.8% 降至 34.9%),但一旦危险操作完成,96.1% 的案例均未恢复环境(Figure 6、Section 5.4)。
- 行动前验证与纠正时机:对比了在首个动作前还是动作后进行修正。结果显示,动作前的纠正使风险传播率降至 13.4%,而动作后即使纠正,风险传播率仍达 56.5%(Figure 8、Section 5.4)。作者称事后验证属于迟滞验证,无法撤销已发生的持久状态改变。
框架差异与运行时防御对比(RQ4与RQ5)
- 不同 Harness 的证据回传差异:对比了 OpenCode、Pi 与 OpenClaw 框架。结果显示,OpenCode 任务中可见更安全响应的比例为 65.6%,Pi 为 51.3%,而 OpenClaw 仅为 20.0%;动作前独立验证比例在 OpenCode 为 46.8%、Pi 为 37.0%、OpenClaw 仅为 19.0%(Section 5.5、Figure 22、23)。作者称各框架首呼叫风险比例相近(25.9%–27.5%),差异根源在于框架传递证据的能力。
- 三种运行时防御效果对比:以 Minimax-M3 为对象评测了匿名化、身份证明和动作前验证。结果显示,匿名化在 24 个“框架-指标”组合中有 20 个取得改善,安全意识失败下降 6.2 至 9.1 点;身份证明反而在所有框架中增加了终端危害(OpenCode 中 TH 从 17.6 增至 24.1,Pi 中从 20.6 增至 23.4);动作前验证在 OpenCode 使任务耗时从 153 秒增至 341 秒(Table 4、Section 5.6)。作者称隐藏身份线索最有效,而身份证明反而增加了风险标签的可信度。
其他消融与分析
- 风险目标类型对危害持久性的影响:针对攻击目标的风险子智能体产生危险尝试比例为 42.2%,危害残留为 29.2%;争夺权威目标分别为 37.1% 和 23.9%(Figure 18、Section G.2)。
- 动作前验证与风险传播相关性:跨 16 个系统,动作前独立验证率与风险传播率呈负相关,Spearman ρ = -0.39(Figure 10、Section 5.5)。
- 咨询宽度对缺少反向证据比例的影响:无限制咨询下缺少反向证据的任务比例为 73.2%,强制咨询 4 个子智能体时仍有 48.8% 缺少反向证据(Figure 7、Section 5.4)。
- 身份证明防御对终态危害的负面效应:在 Minimax-M3 上引入身份证明后,OpenCode、OpenClaw 和 Pi 的 TH 分别从 17.6、16.7、20.6 上升至 24.1、16.9、23.4(Table 4)。
- 增加子智能体咨询导致传播率反常上升:在 GLM-4.7 和 Minimax-M3 上,从自由咨询增至 4 个子智能体后,风险传播率分别上升了 0.5 和 2.4 个百分点(Figure 5、Section 5.3)。
What are some points that can be further explored?
论文正文与附录未设独立章节专门讨论局限与后续方向;其实际评测覆盖了 16 个系统、30 个场景和三种运行时干预。
作者指出的局限与后续方向
- 论文未专门讨论局限。
实验覆盖范围
- 模型与运行框架覆盖:实验评测了 8 个模型(GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3、Kimi-K2.6、GLM-5.2、GLM-4.7、Minimax-M3、Minimax-M2.5)跨 3 个 harness 框架(OpenCode、OpenClaw、Pi)组成的 16 个系统(Section 4)。
- 任务与场景覆盖:实验基于 AgentCanary 筛选出的 30 个场景构建了 1,890 个任务,涵盖间接注入、带毒技能、多步链与内存投毒 4 类攻击类型,评测了 27,826 条有效轨迹(Section 3.3、Table 5)。
- 子智能体交互架构覆盖:每个任务设置 4 个子智能体槽位,其中仅预设 1 个风险子智能体,其余 3 个与用户对齐;递归编排深度限制在 1 层(Section 3.1、Section F)。
- 运行时防御覆盖:仅针对 Minimax-M3 测试了匿名化、身份证明与动作前验证三种干预方式在 OpenCode、OpenClaw 和 Pi 中的效果(Section 5.6、Table 4)。
- 论文未报告的信息:论文未报告各模型生成响应的具体 token 消耗数量与成本金额,重试策略固定为无有效调用或奖励产物时最多重试 3 次(Section 4、Section F)。
Summarize the main content of the paper
论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。
- 定位:这是一项针对大语言模型多智能体系统中展示身份与操作权威安全性的基准评测研究。
- 解决的问题:在多智能体系统中,协调器往往依据展示身份而非真实任务证据向子智能体授予检查与执行权限,导致具有恶意倾向的子智能体在遭遇反向证据时依然把持执行权威,进而破坏实际系统。
- 方法核心:构建了包含 1,890 个任务的基准 TRUSTFORK,将 30 个风险场景拆分至协调器与 4 个子智能体槽位,通过解耦展示身份与底层基座、调整咨询宽度与池设计,在 Harbor 环境中精确跟踪范围、验证、采纳与执行四个阶段的权威转移轨迹。
- 关键实验发现:
- 在 16 个系统中,即使存在明确的反向证据,风险建议仍平均在 72.0% 的轨迹中主导采纳或执行(CAR),其中 OpenCode 下 Kimi-K2.6 的 CAR 达 100.0%(Table 3)。
- 身份元数据操纵影响显著:反转家族标签使协调器获取风险建议的比例从 25.9% 升至 74.6%(Section 5.2);在存在反向证据时,交换模型标签仍使风险建议采纳率达到 69.9%(Section 5.4)。
- 咨询全员无法自发消除危害:在 84.0% 的任务中存在更安全的替代方案,但仅在 25.0% 的任务中最终主导决策;将咨询数增至 4 个虽降低了采纳率,但风险传播率仅下降 5 个百分点,且 GLM-4.7 和 Minimax-M3 的传播率反而上升(Section 5.3、5.4)。
- 验证时机与防御差异:动作前的验证可将风险传播控制在 13.4%,而动作后即使纠正,传播率仍达 56.5%;在运行时防御中,隐藏身份线索在 24 个“框架-指标”组合中有 20 个实现改善,而身份证明反而加剧了终端危害(Section 5.4、5.6)。
- 结论与启示:作者认为,多智能体系统在操作变得不可逆之前必须将操作权威与实质证据绑定,而非依赖展示标签;事后验证只能记录破坏而无法恢复环境,在模型按层级路由日益普遍的背景下,展示身份已成为至关重要的安全边界(Section 6)。