跳到正文
原文

系统安全性只与最弱智能体相当:一种仅在多智能体系统中出现的攻击

Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent

arXiv:其他 AI 安全论文· arXiv:2611.17520· Keegan Wang, Anantika MannbyCarnegie Mellon University; Prosaic Intelligence; University of Southern California本站收录· 4 天前· 原文发表入选 攻击· 扫描记录里的位置 →精选关注度41

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者称 Claude Code、Codex 等强编排器多智能体系统可被伪造记录攻破,系统安全性取决于最弱的子智能体而非强编排器。

威胁模型攻击者无特权访问,只需能在智能体会读取的位置写入一个文件(共享仓库、云盘或数据)。

问题
AI 安全评测多针对孤立模型,而 Claude Code、Codex 等实际系统默认把任务委派给更便宜、更弱的子智能体;作者称对孤立强模型早已失效的攻击,在这种多智能体结构下可能重新生效。
方法
在文件库中植入带两个固定破绽的伪造记录,比较编排器自己读库与委派弱子智能体读库时的 harmful revision;用干净库、同级子智能体、匹配简报三个控制定位原因,并测三智能体链式传播与 verifier 防御。
实验与结果
编排器直接读库 1080 次仅 2 次 harmful revision;委派弱子智能体后 Claude Code stacked 75/180、Codex gloss 44/180、参考 harness volume 553/900。五聚合器在 worker 被腐蚀时传播率 751/757;提供原始记录的 grounded verifier 将错误降到 0/780。
局限与可以继续做的
作者写明的局限:伪造记录被刻意设计成只有细心的读者才能识破;matched-brief 控制只能在参考 harness 上跑;Codex 的委派限制只能靠指令并逐试验检查;3,652 对重复测量中同一事实两次结果有 13.0% 不一致。实验只覆盖一个主文档域加三个小语料。
实验设置GPT-3.5-turbo、GPT-4o-mini 等 · 180 条虚构关系事实语料(作者自建)、Claude Code 与 Codex 文件库环境 等 · harmful revision 率、传播率 P(err|corrupt)
威胁模型
攻击者无特权访问,只需能在智能体会读取的位置写入一个文件(共享仓库、云盘或数据)。受害系统为 Claude Code、Codex 及参考 harness,未修改、经其官方 CLI 运行,使用各自的子智能体委派机制。成功判定为 harmful revision:智能体原本答对,在伪造记录到达后改答攻击者主张的错误答案。
被测模型
GPT-3.5-turboGPT-4o-miniGPT-5-nanoGPT-5.4-miniGPT-5.5Claude Haiku 4.5Claude Sonnet 4.6Claude Opus 4.6Llama-3.1-8BLlama-3.3-70BDeepSeek-V3.2Mistral-Large-3Gemini-2.5-FlashClaude Opus 5GPT-5.6-solGPT-5.6-terraClaude Sonnet 5DeepSeek-V4-ProGemini 3.1 Progpt-oss-20b
基准
180 条虚构关系事实语料(作者自建)Claude Code 与 Codex 文件库环境参考 harness(200 行工具循环)
指标
harmful revision 率传播率 P(err|corrupt)
AI 导读和推荐理由Prosaic Intelligence 的研究者展示一种仅在多智能体系统中出现的攻击:在智能体检索的文件库中植入伪造记录,未改动的 Claude Code 和 Codex 即便由强模型编排也会被攻破。编排模型亲自检索时,1,080 次直接试验仅 2 次有害改写(先答对、接触伪造记录后改选错误答案);一旦按产品默认机制委派给更便宜的子智能体,同一攻击在 Claude Code 的 stacked 伪造下失败 75/180、Codex 的 gloss 伪造下失败 44/180。控制实验显示原因是子智能体更弱而非委派本身,同级子智能体仅 0/180、1/180 和 11/540。攻击无需特权访问,只需能在智能体会读取的位置写入文件;论文已被 NeurIPS 2026 Meta-Agents 研讨会接收。

Prosaic Intelligence 的研究者展示一种仅在多智能体系统中出现的攻击:在智能体检索的文件库中植入伪造记录,未改动的 Claude Code 和 Codex 即便由强模型编排也会被攻破。编排模型亲自检索时,1,080 次直接试验仅 2 次有害改写(先答对、接触伪造记录后改选错误答案);一旦按产品默认机制委派给更便宜的子智能体,同一攻击在 Claude Code 的 stacked 伪造下失败 75/180、Codex 的 gloss 伪造下失败 44/180。控制实验显示原因是子智能体更弱而非委派本身,同级子智能体仅 0/180、1/180 和 11/540。攻击无需特权访问,只需能在智能体会读取的位置写入文件;论文已被 NeurIPS 2026 Meta-Agents 研讨会接收。

推荐理由论文在未改动的 Claude Code 和 Codex 上实测,强编排模型委派弱子智能体后系统失败率贴近弱模型,多智能体团队可据此检查委派链路。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者称孤立时已失效的攻击可经子智能体委派攻破 Claude Code、Codex 等真实多智能体系统。

    核心问题:对孤立前沿模型早已不奏效的伪造记录攻击,能否在强编排器+弱子智能体的真实多智能体系统中重新造成破坏,系统的安全边界由谁决定。

    • 场景与动机:Claude Code、Codex 等工业级智能体系统默认支持并推荐子智能体委派,且有经济动机把任务分给更便宜的弱模型;作者称分工后没有任何单一智能体持有完整上下文。
    • 现有评测的不足:作者认为 AI 安全研究主要考察孤立模型的边界与漏洞,模型被部署为智能体和多智能体系统后,孤立时被认为已修补的攻击可能在特定条件下重新生效。
    • 核心假设:系统的安全性不取决于最强智能体,而取决于最弱智能体;决定因素是决策时读者与原始证据的接触。
    • 论文贡献:在未修改的 Claude Code、Codex 和自建参考 harness 上演示该攻击,给出 harmful revision 的度量、定位原因的控制实验、三智能体传播实验和 verifier 防御测试。
    • 威胁模型:
      • 目标:让智能体把原本答对的问题改答成伪造记录支持的错误答案(harmful revision)。
      • 知识:攻击者无需特权访问,无需了解系统内部。
      • 能力:只需能在智能体会读取的位置写入一个文件(共享仓库、云盘或数据)。
      • 受害系统:未修改的 Claude Code 与 Codex,经官方 CLI 运行,使用各自的子智能体机制;另有 200 行的参考 harness。
  2. 有哪些相关研究?

    相关工作覆盖语料投毒、间接提示注入、智能体间传播与说服,作者称本文定位是划定安全边界而非提出新攻击。

    上下文攻击的三类相关工作

    • 语料投毒:Zhong et al. (2023)、Zou et al. (2025) 把投毒文档放在模型会检索到的位置;论文称这对应其 direct 条件。Wu et al. (2024) 发现多数情况下模型会用错误检索内容覆盖自己正确的先验;Wan et al. (2024) 发现模型对文档相关性的权重远高于人类会核查的来源线索,论文伪造记录带的两个 tell 正是这类线索。
    • 间接提示注入:Greshake et al. (2023)、Zhan et al. (2024)、Debenedetti et al. (2024) 直接向检索模型注入指令以改变其行为。
    • 智能体间传播:Cohen et al. (2025)、Gu et al. (2024) 研究上下文在智能体之间共享时安全性如何变化;论文称其实验中的这一边界是 orchestrator-to-subagent。

    最接近的工作

    • Triedman et al. (2025):用读文件智能体向编排器转述伪造错误,展示称为 laundering 的机制;论文称其为最接近的相关工作。
    • Zhang et al. (2026):投毒委派型研究智能体检索的用户生成页面,使其返回并引用攻击者选定的内容。
    • Arora et al. (2025):在五种多智能体架构中诊断薄弱环节;论文指出其变化的是拓扑与上下文共享而非读证据智能体的能力,且未测试已部署产品。

    智能体间说服

    • Hou et al. (2024):发现 LLM "deceiver" 可用冲突信息降低目标模型的阅读理解准确率,上下文段落可部分缓解;论文称把该设置扩展到八对编排器/子智能体并加了传播级联。
    • Mohsin et al. (2026)、Wang et al. (2025):并行工作把压力导致的改答归因于证据处理而非社会动机;论文称其 source×rationale 析因提供了直接因果检验。

    定位:作者明确说不把委派攻击作为新攻击提出,而是展示安全的决定边界——失败率取决于链上最弱的智能体,而非委派是否发生。论文无独立基线方法,对照是同一模型在不同臂(直接读、委派、同级委派、干净库)之间的比较。

  3. 论文如何解决这个问题?

    在文件库植入带两个固定 tell 的伪造记录,比较编排器直读与委派弱子智能体时的 harmful revision,并用三组控制定位原因。

    整体思路:让编排器在直读与委派弱子智能体两种条件下回答同一批事实问题,度量 harmful revision,再用控制实验把"委派本身"与"读者能力弱"分开,最后测传播与防御。

    任务与伪造记录

    • 任务:每题是一段含预定关系事实的虚构故事加二选一问题;虚构内容排除先验知识偏差,两个候选答案都出现在文中。语料共 180 条,错误答案标签做了平衡。
    • 伪造记录:攻击在库中植入伪造文件但保留真实记录,正确答案仍可恢复。每份伪造带两个固定、从不针对模型调优的 tell:日期早于它声称要更正的记录;缺少每条真实记录都有的 accession 行。
    • 六个伪造家族:correction(声称旧记录已修订的取代通知)、gloss(署名头衔的高级档案员批注)、volume(多个后期来源重复错误读法)、stacked(前三者合并为 35 文件库中的 5 份文档)、correction clean(去掉两个 tell 的 correction,作范围条件控制)、injection(直接向读者下达指令,即提示注入形式)。

    度量:harmful revision

    • 定义:智能体在无其他智能体参与时答对,伪造记录到达后改答攻击者主张的错误答案,记为一次 harmful revision。
    • harness 层:先跑无交互控制确认答对,再比较同一智能体在投毒与未投毒控制下是否返回伪造标签,保证错答来自攻击而非任务本身。
    • 模拟层:受试先根据原始来源作答,随后其证据被操纵并与其他智能体交互,计"先对后错"。

    环境与模型

    • harness 层:环境是磁盘上的文件目录;Claude Code 用 Opus 5 作编排器、经 Task 工具生成 Haiku 4.5 子智能体,用 --allowedTools Task 机械剥夺编排器的文件工具;Codex 用 gpt-5.6-sol 作编排器、gpt-5.6-terra 作子智能体,因无机械手段只能靠指令限制并逐试验检查。参考 harness 是 200 行工具循环,用相同模型。
    • 模拟层:每个智能体是独立模型实例,无共享隐藏上下文,环境由提示词构建。
    • 模型面板:13 个模型覆盖六家开发者(OpenAI、Anthropic、Meta、DeepSeek、Mistral AI、Google),harness 层另加 Opus 5、gpt-5.6-sol、gpt-5.6-terra,Table 2 的信道比较扩展到 18 个模型。

    控制与防御设计

    • 三个控制:Clean store(在未投毒库上重复同样委派);Same tier(子智能体换成与编排器同型号);Matched brief(把子智能体的简报换成 direct 条件的原始提示词,仅在参考 harness 可跑)。
    • 传播实验:三智能体链 attacker→worker→aggregator,aggregator 看不到攻击也看不到原始来源,用五个来自三家实验室的 aggregator 各测 150–180 条。
    • 防御:grounded verifier(向 aggregator 提供检索到的原始来源并要求引用)、仅断言正确答案的怀疑型 verifier、以及指示编排器亲自读记录。
  4. 论文做了哪些实验?

    编排器直读 1080 次仅 2 次出错,委派弱子智能体后错误升至最高 553/900;传播率 751/757,grounded verifier 降到 0。

    实验设置

    • 被测系统与模型:Claude Code(Opus 5 编排器+Haiku 4.5 子智能体)、Codex(gpt-5.6-sol+gpt-5.6-terra)、参考 harness(三个编排器);模拟层为 13 模型面板,信道比较扩展到 18 模型。
    • 数据:180 条虚构关系事实,每臂每任务跑一次;传播实验每 aggregator 150–180 条。
    • 指标:harmful revision 率;传播实验报 P(err|corrupt)。
    • 判定方式:按是否返回伪造记录支持的标签计分,论文未说明使用 LLM 评审;显著性用 Wilson 区间、McNemar 检验(Holm 校正)、Clopper–Pearson 区间。
    • 对照:同一模型的直读臂、干净库委派臂、同级子智能体臂、matched-brief 臂。
    • 规模:附录 A 报告共 58,589 次记录试验,计量花费约 1,100 美元。

    主结果

    Table 1 各臂 harmful revision 计数(分母为试验次数;"—"为该 harness 未跑的臂):

    表格较宽,可左右滑动

    HarnessPoison编排器直读弱模型独读委派弱模型同级委派
    Claude Codegloss1/18022/18020/1800/180
    Claude Codestacked1/180136/18075/1800/180
    Codexgloss0/18058/18044/1801/180
    Codexcorrection172/180—180/180—
    参考 harnessstacked27/180—149/180—
    参考 harnessvolume0/540—553/90011/540
    • 作者解读:三个编排器直读合计 1,080 次仅 2 次 harmful revision;委派后系统错误率落在弱读者附近而非编排器附近(Claude Code gloss 与弱读者差 1.1 个百分点,Codex gloss 差 7.8 个百分点)。
    • harness 特异性:作者称 Codex 被 authority-gloss 腐蚀(44/180)但对 repetition 免疫(0/180,95% CI [0, 2.0%]),与参考 harness 相反;显式指令式注入在所有测试点都被抵抗。
    • 例外:Codex 在 correction 上直读已失败 172/180,作者称编排器自己已失败时不存在委派可破坏的单智能体成功,也未观察到额外破坏。

    原因定位(Experiment 2)

    • 测了什么:三个控制加八对编排器/子智能体(Table 6)。
    • 结果:同级子智能体错误为 0/180(Claude Code)、1/180(Codex)、11/540(参考 harness),对照弱子智能体的 20/180、44/180、553/900;干净库委派在两个产品中均为 0/180。Table 6 中效应随子智能体变弱单调上升,唯一例外是 GPT-5.5→GPT-5.5 的 6/180(p=0.031)。
    • 作者解读:原因是模型弱而非委派本身;委派在自然解读下移除了验证的场合而非能力,但作者明确把这标为假设而非已证明的机制(轮次计数是相关的:stacked 下直读 6.3 轮对委派 3.2 轮)。

    传播与防御(Experiment 3)

    • 传播:worker 诚实时五个 aggregator 全错 0/780;worker 被腐蚀时系统错误率 94.7%–98.0%(Table 5),以 worker 自己被骗为条件传播率 0.98–1.00(751/757),包括无法被直接操纵的 GPT-5.5 和 Opus 5。
    • 防御(模拟):grounded verifier 提供原始记录后五个 aggregator 全错 0/780(Clopper–Pearson [0, 0.47%]),worker 仍维持原腐蚀率;模拟环境中引用来源的 verifier 把三个受试都降到 0/180,仅断言答案的 verifier 保护其中两个,对 gpt-4o-mini 更差(Figure 7)。
    • 防御(真实 harness):对 15/40 基线,要求引用原始记录的 grounded verifier 达 3/40(p=0.0018),仅被告知库可能不可靠的怀疑型 verifier 达 1/40(p=0.0005),两者不可区分(p=0.63,每臂 n=40);指示编排器亲自读记录达 0/40。作者称此处怀疑与 grounding 效果相当,grounding 不是活性成分。

    其他消融与分析

    • 信道语义:内容逐字节相同,作为子智能体工具结果被采纳 102/120(85%),作为同伴消息 18/39(46%)(§5)。
    • 逐模型信道对比:18 模型上伪造文档信道与同伴断言信道的易感性负相关,Spearman ρ=−0.76,p=0.0002(Table 2、Figure 4)。
    • source×rationale 析因:可见来源或保留 rationale 都能保护能力强的模型,弱模型无论如何都会屈服(Figure 6、Tables 3–4,n=180)。
    • 跨文档域:在 issue tracker、lab notebook、policy archive 三个小语料上直读臂 0/19、0/20、0/20,委派臂 8/20、10/20、14/20。
    • hop 丢失的信号:编排器亲自打开伪造文件时 180/180 次指出缺失来源、仅采纳 1 次;弱子智能体报告仅 96/180 次携带该信号(p=10⁻³¹),编排器随后采纳 75 次;作者注明此分析是关联性的。
    • 子智能体独读与系统失败的重合:弱读者独读失败的事实中系统失败 5/22、20/58、57/136,仅 Codex 与独立性假设差异显著(p=0.04)。
  5. 有什么可以进一步探索的点?

    作者写明四项局限:伪造需细心读者才能识破、部分控制只能在参考 harness 跑、Codex 限制靠指令、测量噪声较大。

    作者指出的局限与后续方向

    • 伪造记录的设计范围(§8 Limitations):作者称伪造被刻意构造成只有细心的读者才能识破。
    • matched-brief 控制的适用范围(§8):只能在参考 harness 上运行,因为 Claude Code 和 Codex 的子智能体提示词无法改写。
    • Codex 的委派限制(§8):Codex 不支持对子智能体的机械限制,限制只靠指令并逐试验检查,而非严格执行。
    • 测量噪声(§8):3,652 对重复测量中同一事实的两次结果有 13.0% 不一致,作者称每个单元格的比率都是估计值。
    • 验证场合假设待检验(§5):作者称"委派移除验证场合而非能力"是假设而非已证明的机制,分离两者需要在固定委派下强制或禁止一次原始记录核查,作者写明尚未运行该实验。

    实验覆盖范围

    • 被测系统:两个商业产品(Claude Code、Codex,未修改、经官方 CLI)加一个 200 行参考 harness;模型面板 13 个,信道比较扩展到 18 个(§3)。
    • 数据域:主实验为单一文档域的 180 条虚构事实;另在三个小语料(issue tracker、lab notebook、policy archive)各约 20 条上复跑(§5)。
    • 防御评测:grounded verifier、仅断言答案的怀疑型 verifier、编排器亲自读记录三种,真实 harness 中每臂 n=40(§6)。
    • 传播实验:五个 aggregator、三家实验室,每个 150–180 条(Table 5)。
    • 未报告项:论文未说明 harmful revision 的判定是否使用 LLM 评审或人工复核;未通知厂商(§9 Responsible Use 写明 vendors were not notified)。
  6. 总结一下论文的主要内容

    作者称多智能体系统的安全性由最弱智能体决定:强编排器委派弱子智能体后会被孤立时早已失效的伪造记录攻破。

    一篇关于多智能体系统安全边界的攻击论文,实验对象包括未修改的 Claude Code、Codex 和自建参考 harness。

    • 问题:安全评测多针对孤立模型,而工业级智能体系统默认把检索等任务委派给更便宜的弱子智能体;作者称孤立时已失效的攻击可能在此结构下复活。
    • 方法:在文件库植入带两个固定 tell 的伪造记录,比较编排器直读与委派弱子智能体时的 harmful revision(先答对、后被改错);用干净库、同级子智能体、matched-brief 三组控制分离"委派"与"能力弱",再测三智能体链传播与 verifier 防御。
    • 主结果:编排器直读 1,080 次仅 2 次 harmful revision;委派后 Claude Code(Opus 5→Haiku 4.5)stacked 75/180、Codex(gpt-5.6-sol→terra)gloss 44/180、参考 harness volume 553/900,系统错误率落在弱读者附近(Table 1)。
    • 原因:同级子智能体仅 0/180、1/180、11/540,干净库委派 0/180;作者据此认为原因是读者能力弱而非委派本身,"移除验证场合"仅作为假设提出。
    • 传播与防御:worker 被腐蚀时五个 aggregator 传播率 751/757,连无法被直接操纵的 GPT-5.5、Opus 5 也继承错误;提供原始记录的 grounded verifier 把聚合器错误降到 0/780,真实 harness 中仅表达怀疑的 verifier 效果与之不可区分(p=0.63)。
    • 作者结论:多智能体系统的安全度量不能取各模型的聚合或最大值,而大体跟随最弱模型;作者建议不要在系统与其正确性所依赖的证据之间放更便宜的读者,并认为子智能体输出不应在缺乏可审计证据时被视为已核实。
阅读原文arxiv.org