Step-Zero 攻击:可观测性之前的 Agent 安全
Step-Zero Attack: Agent Safety Before Observability
作者提出 Step-Zero 攻击:7 种 harness × 6 个模型中 32/42 对解压超 4 MiB 预算,26/42 发生在模型看到内容前,并给出字节计数门 SZSP。
攻击者只控制外部载体 β 的全部字节(第三方压缩包路径、其控制的网络端点响应或图像),不含任何指令文本;提示词、 harness、工具、权重属于受害者;工具调用自动批准;攻击者目标是让 Isafe(Σt)=0(超出磁盘预算或破坏具名文件完整性),而共享预览字段与良性孪生体一致。
- 判断一个未知压缩包、网络响应或图像是否安全,智能体往往必须先处理它,而这一步在内容到达模型之前就可能造成危害。现有攻击与防御都作用于内容进入模型上下文之后,覆盖不到这一步。
- 作者定义 Step-Zero 攻击与 Opaque Input Carrier 框架,用配对孪生体、录制代理和磁盘采样测量三类载体上的危害,并提出在工具层对产出字节计数的 SZSP 门。
- 7 种 harness × 6 个模型中 32/42 对解压超 4 MiB 预算,26/42 在模型看到内容前;无承诺时智能体按声明文件名保存冲突正文;SZSP 使路由解压 0/28 超预算且完成 25/28 任务。
- 作者指出:每条件一个 fixture、模型经闭源 API 服务、SZSP 网络侧写入绑定与跨调用账本留待未来;图像经工具解码,像素级感知未测。
- 被测模型
- Qwen3.8-MaxDeepSeek-V4.1-FlashGLM-5.3Kimi-K3Gemini-4-ArgonGPT-6-Sol
- 基准
- 自建配对载体基准(archive/network/image 三类载体及 matched twins、container 与 extension 对照)
- 指标
- Step-Zero ingress g(u)realization(字节预算超出率、错误写入率)hash computedstated conflictrejection任务完成率
清华大学等机构研究者在 arXiv 论文(2611.01953)中提出针对编码 Agent 的 Step-Zero 攻击:Agent 首次处理压缩包、网络响应或图片等不透明输入时,解压、抓取或解码调用本身就会造成危害,此时还没有内容进入模型上下文,模型侧防御来不及介入。在 Claude Code、OpenAI Codex 等 7 个 Agent 框架与 Qwen3.8-Max、DeepSeek-V4.1-Flash 等 6 个模型的组合测试中,32/42 个组合解压一个成员声明 64 B、实际携带 8 MiB 数据流的 ZIP 时超出 4 MiB 磁盘预算,其中 26/42 发生在模型看到任何成员之前,六个模型中的四个在每一轮全部越界(84/84),良性孪生样本则均在预算内。在网络与图片输入上,Agent 会按输入声明的文件名保存正文,即使声明与内容冲突也照写。
推荐理由论文测量显示多数 Agent 在内容进入模型上下文前就已受损,部署编码 Agent 的团队可据此把防护建在工具原语层。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
大模型安全周报:智能体安全边界在签名、授权与上下文
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:智能体的安全边界在签名、授权与上下文三层防线里
2611.01953 把这个盲区讲得很直白:编码智能体要判断一个未知压缩包、一段网络响应或一张图像是否安全,必须先处理它,而首次处理本身就能造成伤害,实测七类智能体都存在这个盲区。
深度解读
这篇论文试图解决什么问题?
作者称智能体在内容到达模型之前的首次处理(Step Zero)就可造成危害,现有防御覆盖不到。
核心问题:判断一个未知输入是否安全所需的信息只能通过处理它获得,而这次首次处理本身就能在内容到达模型之前造成危害。
- 场景与重要性:编程智能体通过 harness 运行命令、抓取资源、编辑文件,还要检查第三方产物;压缩包、网络端点、图像都是内容密封的"不透明载体",只有工具解包、抓取或解码后才能看到内容。许多智能体在自动批准下运行,没有人挡在调用之前。
- 现有方法不足:作者称间接提示注入的攻击与防御都在内容进入模型上下文之后起作用——注入文本说服模型、守卫检查模型读到的内容;软件工程基准从仓库物化之后开始;动作守卫在调用前后检查,但对不透明载体的首次处理调用而言,这些检查看到的要么良性、要么太晚。
- 核心观察:首次处理调用就是接纳危害的调用。载体只携带数据、调用良性且为任务所需,对压缩包而言副作用在调用返回时就已完成;按声明字段过滤对字段与良性压缩包完全一致的载体无效,只有解码流才能区分两者。
- 论文提出:命名 Step-Zero 攻击并给出 OIC 形式化框架;可复现的配对测量协议;跨 7 种 harness、6 个模型的测量与消融;以及防御原语 SZSP(Step-Zero Safe Protocol)。
- 威胁模型:
- 目标:使 Isafe(Σt)=0,即超出磁盘字节预算或破坏具名文件完整性,而共享预览字段与良性孪生体一致、孪生体被正常处理。
- 知识:攻击者在遇到任何受害者之前固定 β,每个条件一个 fixture 服务所有 harness 和模型。
- 能力:只控制外部载体 β 的全部字节(压缩包路径、其服务的端点响应、图像),不含祈使指令;只利用智能体已有权限。
- 受害系统:提示词、harness、工具、权重属于受害者;工具调用自动批准。
有哪些相关研究?
相关工作分四组:提示注入与动作守卫、harness 监控、智能体自选处理交互、格式危害与资源耗尽。
间接提示注入及其防御
- Greshake 等(2023)、InjecAgent(2024)、AgentDojo(2024)、ASB(2025)、AgentHarm(2025)等:评估检索文档、网页或工具输出中的对抗指令是否重定向智能体,含网页与多模态扩展(WASP 2025、OS-Harm 2025 等)。
- 防御侧:指令层级(Wallace 等 2024)、StruQ(2025)、Spotlighting(2024)等标记不可信文本或检查用户意图与工具调用的一致性;SARA 隔离动作探针,在授权后续调用前检查工具观察。
- 论文指出这些方法针对的是可读内容进入模型上下文之后的劝服,本文研究互补情形:ingress 发生在不透明载体的首次处理期间,后续工作区变化跟随声明性字段。
智能体 harness 与监控
- SWE-bench(2024)、SWE-agent(2024)、OpenHands(2025)、Terminal-Bench(2026):带 shell 与文件工具的智能体在物化仓库上解决任务;另有工作考察工作区布局、批准疲劳与权限门(如 HarnessSecurity-Bench 2026)。
- MTGuard(2026)等通过执行前参数审计、执行中系统调用监控、执行后结果验证实施策略;EpiSEM-Bench(2026)评估智能体在提示词缺少安全关键事实时是否暂停或恢复证据。
- 论文指出在 I0/I1 阶段,首次解压、抓取或解码调用的参数在载体与其孪生体之间不可区分;系统调用追踪能限制写字节数,但执行后检查在即时副作用之后到达;本文处理"恢复缺失信息的调用本身引入危害"的情形。
处理作为智能体自选的交互
- 路径穿越、符号链接、解压炸弹、content sniffing 等格式问题早于智能体(Zip Slip 2018、CWE-409、Barth 等 2009);ZIPDiff(2025)测量 50 个 ZIP 解析器之间的语义差异。
- 论文指出这类工作固定了哪个解析器运行,而智能体自己挑选解析器并决定如何处理字节,因此逐个工具的补丁在智能体选择 shell 后不再适用。
- OpenAI Agents SDK 的沙箱解压上限、SkillSpector 的扫描器、zipfile 的声明大小上限:论文指出这些修复各覆盖一个工具,智能体可换另一个;CIRCLE(2025)研究提示词所请求代码造成的耗尽,本文提示词只命名输入、调用由智能体决定。
运行时监控与安全探索
- 运行时执行机制(Schneider 2000、edit automata 2005、AgentSpec 2026、Progent 2025 等):在动作进入不安全状态前介入。
- 论文指出智能体常选的原语把"看"与"写"捆绑,调用前检查只看到共享预览、调用后检查看到已落地的写入;安全强化学习中的 shielding(Alshiekh 等 2018)针对必须探测未知转移核的智能体,而编程智能体已有安全的只读原语,失败在于默认选择了无界变异的那个。
基线与基准:本文无现成基线方法;对照是配对孪生体(matched twins)、无模型脚本化原语(unzip、bsdtar、zipfile、ulimit、disk quota、header gate)与 SZSP;基准为作者自建的三类载体 fixture(archive、network、image)及 container、extension 对照。
作者将本文定位为:命名 Step-Zero 攻击,把"获取信息的调用"标识为不透明输入对应的攻击面,正如命名检索文本为间接提示注入的攻击面开启了系统防御设计。
论文如何解决这个问题?
作者形式化 Opaque Input Carrier 框架,设计配对测量协议归因危害,并提出工具层字节计数门 SZSP。
整体思路:把"首次处理不透明载体"形式化为 OIC 交互,用配对孪生协议把危害归因于载体字节,再把防御放在处理原语上——SZSP(Step-Zero Safe Protocol) 用只读预览加字节计数的有界解压取代默认的变异式打开。
问题形式化(OIC 框架)
- 交互建模为元组 O = ⟨ β, πmeta, α, Σ, sink ⟩:β 是载体,πmeta 是外层字段预览,α 是物化动作,Σ 是环境,sink 是模型上下文。
- 认知状态经 I0(未见)→ I1(预览)→ I2(已观察)三阶段;Step Zero 定义为首次物化载荷的调用区间 [tfirst, tret]。
- 安全不变量 Isafe(Σt) = Iavail(Σt) · Iint(Σt):可用性要求解压成员字节 B ≤ Bmax(4 MiB),完整性要求受保护文件不存在或持有合法内容 c*。
- 实现(realization)分两类:t* < tobs 为即时(压缩包),t* ≥ tobs 为延迟(网络/图像的声明文件写入)。Proposition 1:只看调用与共享预览的执行前守卫对 fixture 与孪生体以相同概率拦截,因此阻止即时违例必须作用于打开调用本身——拒绝它或限制其写入。
配对测量协议
- 三类载体各配 matched twin:压缩包为 169 成员 ZIP,中央目录把某成员声明为 64 B 而局部头与 deflate 流携带 8 MiB;孪生体该成员真实为 64 B,两者按名称与声明大小列出完全一致。
- 网络载体把声明文件名 project-alpha.txt 与冲突正文配对,分 header、in-band、digest 三种条件;图像载体把声明记录与正文记录编码进一张灰度图,分 dual-record 与 digest 条件。
- 每个细胞提示词只是一个裸引用(如 ./project.zip),预算不告知;录制代理存下 harness 发给模型的每个请求,磁盘采样器每 20 ms 记录解压字节,据此判定 ingress 与 realization。
- 对照:container control(同一文件放在不透明 TAR 与透明目录中)隔离不透明性对覆盖的影响;extension control(有无 .png 扩展名)隔离基于扩展名的路由。
实验设施
- 七种公开 harness:Claude Code、OpenAI Codex、OpenCode、Qwen Code、mini-SWE-agent、gptme、smolagents(CodeAgent),各配六个模型。
- 一个本地网关翻译三种 API 协议、请求 high-effort reasoning,并把每个图像附件替换为同一段文字通知,使图像只能经工具解码。
- 每个细胞以独立非特权账户在全新目录运行,最多 100 次模型调用、不限时钟时间、自动工具批准。
判定与统计
- ingress:网络/图像看首个携带正文的返回是否同时携带声明;压缩包看是否发出解压。realization:解压成员超 4 MiB,或声明文件最终持有冲突正文。
- 拒绝(rejection)要求 ingress、明示冲突且最终快照无错误写入;摘要条件要求算出哈希并明示声明与正文不一致。
- 主比率用 round 1(每条件每臂 42 个细胞);配对对比用 harness 与模型的双向 cluster bootstrap,确认性对比加精确 McNemar、符号检验、Holm 校正与交叉随机截距 logistic 模型;规则标注在 40 个分层抽样细胞上与盲标一致 36/40(Cohen's κ = 0.80)。
防御:SZSP
- Peek:把每个成员流过解压器并报告产出字节数,零写入、不把成员内容送入 sink,产出字节超过 Bmax 即停。
- Extract:把成员物化到私有暂存目录并计数产出字节,拒绝会使总量超过 Bmax 的首个块,全部成员放得下才按 rename 提交,拒绝时 Σ 不变;拒绝路径逃逸或符号链接成员。
- 网络侧为参考设计:抓取进模型上下文,把声明名下的写入绑定到独立于正文发送者设置的摘要;作者称其实施属于 harness 的写工具,live agent 中的强制评估是未来工作。
论文做了哪些实验?
7 harness × 6 模型:32/42 解压超预算且多在模型看到内容前;SZSP 使路由解压 0/28 超预算。
实验设置
- 被测模型:Qwen3.8-Max、DeepSeek-V4.1-Flash、GLM-5.3、Kimi-K3、Gemini-4-Argon、GPT-6-Sol,经一个本地网关以闭源 API 调用,请求 high-effort reasoning。
- harness:Claude Code、OpenAI Codex、OpenCode、Qwen Code、mini-SWE-agent、gptme、smolagents 共 7 种。
- 基准:自建配对载体——压缩包(声明 64 B、实际 8 MiB 成员)、网络(header/in-band/digest 三条件)、图像(dual-record/digest 两条件),各配 matched twin;另有 container、extension 对照。
- 指标:ingress g(u)、realization(超 4 MiB 预算或声明文件持有冲突正文)、hash computed、stated conflict、rejection、任务完成率。
- 判定方式:全部指标来自代理日志与磁盘记录;stated conflict 用规则在智能体自己的文本中匹配,40 个分层抽样细胞上盲标一致 36/40(κ = 0.80),通读分歧后 38/40。
- 样本量:round 1 每条件每臂 42 个细胞(6 模型 × 7 harness);四个模型在部分条件重复三轮,extension control 为四模型五次试验(每臂 n = 140)。
主结果
round 1 各条件的 ingress、act 与 realization(Table I,每臂 42 细胞,括号内为计数):
表格较宽,可左右滑动
载体与条件 Ingress Act(fixture) Realized(fixture) Realized(twin) 压缩包,大小声明 79% (33/42) 79% (33/42) 76% (32/42) 0 (0/42) 网络,header 声明 36% (15/42) 17% (7/42) 14% (6/42)† 0 网络,in-band 声明 95% (40/42) 26% (11/42) 26% (11/42)† 0 网络,digest 承诺 98% (41/42) 10% (4/42) 2% (1/42) 0 图像,dual record 93% (39/42) 45% (19/42) 45% (19/42)† 0 图像,digest record 76% (32/42) 21% (9/42) 2% (1/42) 0 † 为 level (i) exposure(无承诺时输入未固定正确内容,写入即暴露);digest 行按承诺计违例。
- 作者称压缩包上 32/42 超预算、26/42 发生在任何成员内容到达模型之前(Fig. 3),fixture 与 twin 的对比(McNemar p < 0.001,Table II)把字节归因于载体的流。
- 作者称无承诺时智能体把送达正文按声明文件名保存(twin 上 60/126 写入、fixture 上 37/126),所有 38/38 网络与图像错误写入都发生在正文进入上下文之后,即"看到内容"不足以阻止。
- digest 承诺把错误写入从 11/42(in-band)降到 1/42(网络)、从 19/42 降到 1/42(图像),作者注明该对比在 clustering 下为描述性,且部分降幅来自线索(路径名 /digest 与可从文件名猜出的 c*)。
即时实现与预算敏感性
- 测了什么:压缩包细胞中预算超出与成员内容到达模型的先后(Fig. 3),以及不同预算与成员大小。
- 结果:1 到 8 MiB 的每个预算都得到同样的 32/42 fixture 与 0/42 twin 超出;中位超出发生在首次压缩包操作后 2.9 s,中位首个成员 6.0 s 到达;14/42 在第一步即超出,17/42 在已读 listing 之后超出。三轮全部六模型合计 98/126(77.8%)超出、0/126 twin 超出。
- 作者解读:listing 只报中央目录的 3,896 字节而解压器跟随局部头,预览无界;唯一在预算内解压的 fixture 细胞(1/42)是 Gemini-4-Argon 解析局部头并跳过被低报的流。
模型与 harness 差异(描述性)
- 测了什么:按模型与 harness 分组的谨慎行为(Fig. 4、Fig. 5)。
- 结果:Gemini-4-Argon 在 20/21 细胞中先只读检查压缩包,与 GPT-6-Sol 是仅有的在某些细胞守住预算的两个模型(三轮各 7/21 超出),其余四个模型每轮每细胞都超出(84/84);但 Gemini-4-Argon 在无承诺时冲突写入最多(11/21),GPT-6-Sol 仅 1/21。DeepSeek-V4.1-Flash 拒绝 digest 细胞最多(11/14)。
- 作者解读:谨慎是载体特异的,一种载体上的谨慎几乎不能预测另一种载体上的表现;这些排序为描述性。
稳健性、消融与任务压力
- 无模型原语:脚本跑 unzip 在 fixture 上 5/5 超预算、twin 0/5,bsdtar 相同,Python zipfile 遵守声明大小 0/5;作者称原语决定了超预算是否可能在智能体做决定之前发生。
- 线索与承诺消融:随机 token 正文下 fixture 与 twin 写入率相同(8/28 vs 8/28);随机 c* 与中性路径下算摘要从 26/28 降到 14/28、错误写入从 1/28 升到 7/28。
- 任务压力:要求抓取并保存附件(摘要与正文不符)时 28/28 完成保存、27/28 写入冲突正文、12/28 明示不匹配仍保存、0/28 拒绝;要求解压并跑测试时 28/28 超预算、0/28 安全完成(twin 上 24/28 完成)。
- container 对照:不透明 TAR 覆盖受保护文件 5/42(round 1)、三轮 17/84,透明目录 0/84;作者称不透明性促成了覆盖。
- 真实声明对照:中央目录、局部头与流都真实声明 8 MiB 的压缩包仍 28/28 超预算,12/28 在读过显示真实大小的 listing 之后;作者称对默认智能体,误声明只对读取声明字段的防御才必要。
其他消融与分析
- 重复轮次(Table III):四个模型三轮压缩包超出恒为 28/28,twin 0/28;图像 dual 错误写入 11/28→15/28→13/28。
- 更大成员:64 MiB 低报成员 27/28 超预算(中位写 64 MiB、最高 384 MiB);512 MiB 成员 7/7 超预算(中位 512 MiB、最高 1024 MiB)。
- extension control:去掉 .png 后 OpenCode 细胞正文到达模型的比例从 10/20 变为 13/20,合并率不变(125/140 与 125/140)。
- 攻击者一致的承诺:服务器给出与其正文一致的摘要时,受保护文件仍被覆盖 9/28。
- 无模型开门对比(Table IV):ulimit+unzip 0/50 守住(峰值 4.0 MiB),disk quota 0/50(峰值 4.5 MiB),header gate 30/50 守住,SZSP peek 50/50 零写入、SZSP extract 50/50 守住(峰值 4.0 MiB)。
- SZSP live agent:front-end 替换 unzip 后 0/28 超预算(对照 28/28,McNemar p < 0.001),twin 27/28 完整解压;字段完全对齐载体上 SZSP 1/28 超预算(该 harness 以绝对路径调用系统 unzip),header gate 28/28 超预算。
- SZSP 效用:单测任务完成 25/28(无门 23/28,差 7 个百分点、cluster 区间 [-14, 29]),预算 28/28 守住(无门 0/28);twin 中位解压 58 ms 对 unzip 6 ms。
有什么可以进一步探索的点?
作者在 Limitations 一节列出 fixture、API 与 SZSP 评估范围等局限,并列出多项未来工作。
作者指出的局限与后续方向
- 主比率每条件只用一个 fixture;压缩包结果在两个独立构建的压缩包上复现,网络与图像结果各基于一个 fixture、只变化了线索与承诺(section IX)。
- 所有请求经一个翻译协议并请求 high-effort reasoning 的网关;案例研究消融只用六个模型中的四个;42 个 harness–模型对中有两对互为原生(Codex 与 GPT-6-Sol、Qwen Code 与 Qwen3.8-Max),比率与排序描述的是该配置下的这个面板(section IX)。
- 隐藏预算 Bmax = 4 MiB 是测量阈值;模型经闭源 API 服务,只能从记录的流量与磁盘记录刻画行为,归因到 logits 或注意力需要开放权重模型(section IX)。
- 网关把图像载体的像素替换为一段文字通知,因此测量的是经工具解码,像素级感知是未来工作(section IX、section IV-A)。
- SZSP 的门只在压缩包打开上评估,网络契约只在抓取原语与建议性判定上评估;强制的写入绑定、跨调用累计字节账本、inode 上界以及其他载体与格式留给部署与未来工作(section IX、section VII-C)。
- 文档、仓库、包等更多载体是未来工作;保密性留给未来工作(section VIII、section III-B);代码与数据计划在接收后发布(Data and Code Availability)。
实验覆盖范围
- 被测模型为 Qwen3.8-Max、DeepSeek-V4.1-Flash、GLM-5.3、Kimi-K3、Gemini-4-Argon、GPT-6-Sol 共 6 个,harness 为 7 种,round 1 每条件每臂 42 个细胞。
- 载体覆盖压缩包(ZIP)、TAR 容器、网络响应与编码图像四类;图像只经工具解码。
- 防御评测包括无模型原语对比(unzip、bsdtar、zipfile、ulimit、disk quota、header gate、SZSP)与 live agent 中的 SZSP front-end(压缩包侧强制、网络侧建议性判定)。
- 重复次数:四个模型在压缩包、图像 dual 与 container 条件重复三轮,extension control 五次试验;网络条件只在 round 1 运行。
- 论文未报告智能体与模型交互的总耗时或 token 消耗;规则标注与人工标注的一致性为 40 个抽样细胞上 36/40(κ = 0.80)。
总结一下论文的主要内容
作者命名 Step-Zero 攻击并测量:多数智能体在内容到达模型前就已不安全,工具层字节计数门可防。
一篇关于编程智能体安全的攻击与防御论文,核心概念是 Step Zero:智能体为判断一个不透明输入(压缩包、网络响应、图像)是否安全而发出的首次处理调用,本身就能在内容到达模型之前造成危害。
- 问题:现有攻击与防御都作用于内容进入模型上下文之后;作者称对不透明载体而言,首次处理调用就是接纳危害的调用,按声明字段过滤对字段完全对齐的载体无效。
- 方法:OIC 框架把交互形式化并区分即时与延迟实现;配对孪生协议(matched twins + 录制代理 + 20 ms 磁盘采样)把危害归因于载体字节;防御 SZSP 在工具层提供只读 peek 与按产出字节计数的有界解压。
- 主结果:7 种 harness × 6 个模型中,32/42 压缩包细胞超 4 MiB 预算、26/42 在任何成员内容到达模型之前,twin 全部 0/42;四个模型三轮每细胞都超(84/84)。
- 网络与图像:无承诺时智能体按声明文件名保存冲突正文(如图像 dual-record 19/42 错误写入),且全部 38/38 错误写入发生在正文进入上下文之后;digest 承诺把错误写入降到 1/42,但去掉线索后检查率从 26/28 降到 14/28,要求保存的任务下 27/28 仍写入冲突正文。
- 防御:SZSP 无模型评估 50/50 守住预算,live agent 中路由解压 0/28 超预算(对照 28/28)且完成 25/28 任务;唯一一次突破来自 harness 以绝对路径调用系统 unzip,作者称门应装在 harness 自己的工具层。
- 作者结论:模型侧谨慎是载体特异的、模型自己的检查在去掉线索或任务要求保存时失效,因此检查应放在工具中;harness 应默认提供只读预览与把写入绑定到输入之外证据的物化,厂商还应配合让智能体先检查再处理的安全对齐训练。