StepSafe：以上下文感知安全推理学习及时干预

智能体安全监控要在伤害不可逆之前、于正确步骤干预，而现有目标大多只监督动作是否不安全。

• 场景：作者称大语言模型智能体会调用工具、搬运数据并与其他智能体协作；工具调用、数据转移或委派都可能造成伤害，例如把个人记录交给外部方。监控器须在每个提议动作执行前决定是否放行。
• 现有不足：轨迹级审计器评判已完成轨迹。引言称Safiron、TS-Guard、StepGuard用裁决与风险奖励做强化学习，学到动作是否不安全，而不是风险首次可见的位置，或干预仍能阻止伤害的最后一步。
• 三个挑战：作者称现有标签多为轨迹级安全/不安全，很少说明哪一步该干预、哪条更早证据支持它；轨迹级奖励会惩罚风险出现前正确的CONTINUE，步级奖励又被大量例行安全步主导；安全步没有可标注内容，因而学不会何时不必拦截。
• 本文做法：提出Adaptive Stage-Aligned Policy Optimization（ASPO），训练步级推理护栏StepSafe。训练数据带违规分类和干预窗口，并用多智能体红队扩充。
• 威胁模型：
  • 目标：执行前输出CONTINUE、ASK或STOP，并说明理由。CONTINUE放行，ASK暂停以求澄清，STOP阻止该动作。
  • 可见信息：只接收任务、访问策略、有界历史和当前提议动作；timing不得依据未见的未来事件。
  • 能力：训练回放中CONTINUE进入下一步记录，ASK或STOP结束该次监控。评测中STOP，或risk至少为50的ASK，计为干预。
  • 受害系统：执行多步任务、调用工具并可能委派的智能体。不安全压力可来自用户请求、外部内容、工具、同伴智能体或存储记忆等。论文未写白盒、黑盒或无盒攻击者。

• 内容护栏与智能体风险：Inan et al.（2023）的Llama Guard、Zeng et al.（2024）的ShieldGemma、Han et al.（2024）的WildGuard、Zhao et al.（2025）的Qwen3Guard主要分类提示词或回复中的有害内容。Andriushchenko et al.（2025）、Zhang et al.（2025；2024）、Ruan et al.（2024）、Zhan et al.（2024）、Debenedetti et al.（2024）讨论的风险依赖演化中的执行上下文，也可来自看似良性的消息与动作序列。
• 轨迹级与步级监控：Luo et al.（2025a）的AgentAuditor与Liu et al.（2026b）的AgentDoG评判已完成交互。主动监控包括Huang et al.（2026）的执行前计划评估、Chen et al.（2026）的SafePred、Li et al.（2026a）的轨迹前缀风险跟踪，以及Luo et al.（2025b）的自适应安全检查。Mou et al.（2026）的ToolSafe检测不安全工具调用并给反馈；Zheng et al.（2026）的StepGuard用前缀对齐监督和强化学习平衡过度防御与不足防御。引言把“只学是否不安全、不学何时行动”具体指向Safiron、TS-Guard和StepGuard。
• 超出结果奖励的强化学习：Shao et al.（2024）的GRPO把基于结果的共享优势赋给一次rollout的全部token。Feng et al.（2026）的GiGPO按共享锚状态估计步级优势。Loye et al.（2026）的RUBAS用多维安全量规奖励完整智能体轨迹，对齐的是智能体本身，而不是决定监控器何时干预；Gunjal et al.（2026）用量规提供结构化反馈。Lu et al.（2026）的SDAR与Gu et al.（2026）的RCSD用策略上自蒸馏提供token级指导，其特权上下文在训练前固定。
• 基线方法：API模型为Claude Sonnet 5、GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna；开放骨干包括Qwen3-4B、Qwen2.5-7B-Instruct、Qwen3.5-4B、Qwen3-4B-Instruct-2507和Qwen3-8B。监控器对照为AgentDoG、ShieldAgent、AgentAuditor、Qwen3Guard-Gen-8B、Llama-Guard-3-8B、StepGuard、SafePred、TS-Guard。
• 基准/数据集：评测为ASSEBench Safety与Security、R-Judge、AgentHarm和ATBench，共4,033条轨迹。训练轨迹来自AgentDoG与HarnessAudit，再经红队扩充。

作者称StepSafe把干预时机当作显式学习目标；SAPO在同一前缀上给阶段相关偏好，AFSD则让特权指导随监控器自己的误报演化。

StepSafe在每个提议动作执行前读取可见前缀，输出简短推理和结构化裁决；ASPO用决策信用加推理token信用训练它，L_ASPO(θ)=L_SAPO(θ)+λ L_AFSD(θ)。前一项按整条决策给信用，后一项按token给信用。

问题设定

• 输入与输出：可见前缀含任务、访问策略、有界历史和当前提议动作。输出为推理轨迹加十字段裁决，主动作yt属于CONTINUE、ASK、STOP。
• 可审计字段：failure、fault、harm、source分别表示被违反的约束、过程错误、伤害和压力来源；另有对象、证据、澄清问题和timing。timing只相对可见前缀中的边界。
• 回放：沿记录轨迹逐步查询。CONTINUE进入下一步记录动作，ASK或STOP结束该次监控。每条轨迹采样G次；附录B写明G=8。

标注与红队

• 四轴分类：沿AgentDoG的诊断轴标注failure、fault、harm、source，类别数分别为12、10、10、8。定义见Table 7与Appendix A.1。标注模型为GPT-5.6 Luna。
• 干预窗口：不安全轨迹记录信号s、边界b和最后可阻止步h，且s≤b≤h。干预目标为s到h之间的步骤；安全轨迹全程为继续。地标同时指定阶段。
• 红队：每轮用训练失误和覆盖缺口指导新样本。operations、security、social三类人格从种子池写任务，轨迹生成器写出轨迹及其良性孪生，审稿角色核验后重放。式(4)只保留审稿确认的样本。三轮共512对，其中328对来自失误、184对来自覆盖缺口；孪生在边界前记录相同，只改权限、接收方、来源事实或动作之一。红队角色由GPT-5.6担任。红队样本只进训练集。附录A.2、A.4给出标注与流程说明。

SAPO

• 阶段分数：风险可见前奖励CONTINUE、惩罚ASK和STOP。澄清阶段s≤t<b时ASK为+1、STOP为+0.5。边界、边界之后到h之前，以及最后可阻止步，奖励STOP；最后一步对ASK为−1。畸形裁决得−1，h之后的步骤不进入训练。附录B.2另写格式或字段违规的惩罚为0.1。
• 同前缀比较：只与同一可见前缀上的其他回复比较，A_i=σ_i−1/(|G(x)|−1)∑_{k∈ G(x)∖{i}}σ_k。仅一条回复到达该前缀时优势为0；分数相同的组不更新。作者不做法内标准差归一化，以保留ASK与STOP之间的较小偏好。
• 类预算：按标注把步骤分成应继续和应干预两类，两类都出现时各得一半平均权重，不按回复条数平分。更新使用GRPO的裁剪目标，另加KL项。

AFSD与训练

• 特权教师：教师与学生同参数。干预步的教师看到标注裁决和该步违规描述；安全步看到CONTINUE、可用的继续理由，以及从学生误报挖出的规则。梯度只过学生。
• 误报规则：同一键至少有来自两条轨迹的三个案例才候选规则。规则须清掉至少一半来源误报，且不能清掉同键的已知违规，包括良性孪生的不安全对应样本。未通过则带反例重写一次再测。量规最多64条，按上置信界检索，探索常数0.5。
• 训练设置：骨干为开启thinking的Qwen3-4B或Qwen3-8B。先在2,402个单步样本上监督2个epoch，再做500步强化学习，按验证集J取最佳步。附录B写λ=0.01、门控β=5、学习率10−6、KL系数0.01、裁剪ϵ=0.2。评测贪心解码，回复最多2,048 token。

实验设置

• 数据：五个基准共4,033条轨迹。ASSEBench Safety、ASSEBench Security、R-Judge、AgentHarm用AgentAuditor发布与协议；ATBench用AgentDoG协议。每条不安全轨迹另标注伤害步。
• 被测与对照：本文模型为StepSafe-4B、StepSafe-8B。对照含Claude Sonnet 5、GPT-5.6 Sol/Terra/Luna，以及Table 1中的开放骨干和八个安全监控器。AgentAuditor跑在Qwen3-4B上。已发布监控器用其原提示词、标签映射和解码；API与未训练骨干用本文监控提示词。
• 指标：轨迹任一步干预即标出。干预为STOP，或ASK且risk≥50。Acc、mF1相对轨迹级地面真值。ASR是伤害步h及之前都没有干预的不安全轨迹占比；Utility是从未被标出的安全轨迹占比。J=recall+Utility−1，指标均×100。及时指干预落在h或h前一步；早两步及以上为过早。BLE是首次STOP到边界b的平均步距。
• 样本量：时机分析用ASSEBench Safety、Security与R-Judge中、伤害步前至少有一个智能体动作的1,260条不安全轨迹。配对评测为327对、36个任务。附录D.1用三个种子；正文强化学习种子为42。论文未报告每条轨迹的评测重复次数，StepSafe评测为每步一个贪心样本。

主结果

据Table 2。表中为五基准汇总的及时干预与效用；J与Table 1总列一致。

表格较宽，可左右滑动

护栏	ASR↓	Utility↑	J↑
StepSafe-4B	27.6	80.0	53.0
StepSafe-8B	21.7	74.8	54.4
StepGuard	32.7	78.5	46.2
AgentDoG	8.2	41.3	34.8
ShieldAgent	4.7	34.7	30.8
Qwen3Guard-Gen-8B	75.6	48.7	−7.6
GPT-5.6 Sol	18.0	82.5	66.6
Claude Sonnet 5	22.2	88.5	64.0

省略的Table 2行包括GPT-5.6 Terra（ASR 19.0，Utility 76.6，J 57.6）、GPT-5.6 Luna（21.0，74.9，55.7）、TS-Guard（39.4，75.8，37.2）、SafePred（36.1，65.2，30.1）、Llama-Guard-3-8B（47.0，80.9，28.9）和Qwen3-4B thinking on（33.3，64.1，28.5）。

• 作者的总评：作者称StepSafe在开源监控器中达到SOTA，4B与8B总J为53.0和54.4，对照中StepGuard为46.2；并称在五个基准中的三个上排名第一。Table 1的反例是：R-Judge的J，StepGuard-4B为69.3，StepSafe-4B为68.0，8B为54.6；AgentHarm的J，ShieldAgent-7B为97.3，StepSafe-4B为64.8。
• 规模与前沿模型：从4B到8B，ASR由27.6到21.7，Utility由80.0到74.8。作者称8B的ASR落在四个前沿模型的18.0–22.2内，并低于Claude Sonnet 5的22.2；API模型J仍为55.7–66.6。作者称4B的Utility高于GPT-5.6 Terra和Luna，只在阻止违规上落后，且只被Claude Sonnet 5与GPT-5.6 Sol支配。
• 分基准：作者称增益在ASSEBench Safety与Security上最大，R-Judge更偏向4B。Table 1中StepSafe-4B/8B的J为：Safety 44.0/49.3，Security 66.9/72.3，R-Judge 68.0/54.6，AgentHarm 64.8/64.2，ATBench 43.2/43.5。

干预时机

• 测了什么：在1,260条不安全轨迹上，把首次干预相对最后可阻止步h的位置作比较。Figure 4中的StepSafe是StepSafe-8B。
• 结果：作者称恰在伤害步干预的比例为29.3%，文中给出的开源对照为SafePred 22.1%；漏检为10.9%，作者称除AgentDoG和ShieldAgent外少于其他监控器。作者称其余监控器中，过早干预的最大份额来自伤害步前一个动作。
• 作者解读：作者称阶段日程让模型在风险尚不可见时继续，在伤害临近时停止，而不是提前拦截。Table 5中，误报量规相对仅SAPO把恰在伤害步的比例从26.9%调到29.7%，两步及以上过早从22.8%到19.5%，Utility从79.1到80.0，BLE从2.10到1.94。作者称StepSafe在不可逆动作执行前一步内停下59.1%的不安全轨迹。

训练信号消融

• 阶段：Table 3中，Qwen3-4B的J为28.5；加SFT后J为46.2、ASR为35.4、Utility为81.8；加SAPO后J为51.9、ASR为27.2、Utility为79.1；再加AFSD即StepSafe，J为53.0、ASR为27.6、Utility为80.0。
• 同任务配对：327对上，正确区分率由SFT的70.9到SAPO的68.2，再到AFSD的75.5。作者报告该配对准确率高于SFT和SAPO，p<0.01。SAPO抓住更多SFT漏掉的不安全轨迹，也更多标出其安全孪生；AFSD去掉这些误报并保留抓住的违规。
• 信用落点：Table 4从Qwen3-4B、不做SFT训练。轨迹级GRPO的ASR为31.5、J为39.6；步级GRPO为34.8、34.8；GiGPO为38.3、38.8；SAPO为26.4、41.2。作者称更密的奖励本身并不够，同前缀比较才把信用留在当前决策。

其他消融与分析

• 教师上下文（Table 5）：只加违规反馈时Utility从79.1降到77.1；再加上误报量规后Utility为80.0，BLE为1.94。
• 红队（Table 6）：去掉红队后Acc 75.8、ASR 28.3、Utility 78.4、J 51.7；完整StepSafe-4B为76.5、27.6、80.0、53.0。
• 二元奖励与阶段日程（Table 15，无SFT）：J为41.0对41.2，ASR为27.8对26.4；恰在边界停止的比例BIR为26.5对30.7，出现STOP的轨迹份额为62.9对71.7。
• 全步SFT（Table 13）：全步step-level SFT的ASR为67.1、J为24.5；类平衡后ASR 38.7、J 40.1；多轮SFT的Utility为70.7、J为44.6。三者J均低于关键步暖启动的46.2。
• 规模、种子与操作点：Table 11中未训练Qwen3-8B的J为35.9、ASR为22.7。Table 10三种子下StepSafe-4B的J为52.9±0.8。Table 12把正确CONTINUE奖励从1调到1.25后，ASR为32.4、Utility为84.3、J为48.3。
• 覆盖与例外：Appendix A.5称红队后reporting fault份额增至7.9倍、state-tracking为3.6倍、incident-response failure为3.2倍；environmental harm与有缺陷的governing specification基本仍未覆盖。Appendix A.3中，14个监控器上J与Utility−ASR的相关系数为r=0.982。

作者指出的局限与后续方向

• 离线效用：Utility衡量的是没有被计分的告警，而不是在线任务是否完成（Limitations）。
• 标签来源：步级标签由语言模型生成并核验。作者称标注做了两遍，一遍标注、一遍确认与修订，以便提供训练和评测标准（Limitations，指向Appendix A.3）。
• 报告范围：因标注具有生成性质，作者称只把基于地面真值标签的accuracy和J作为客观评测，把依赖步级标注的评测留在消融中，并分析步级标签与地面真值标签的相关性（Limitations）。
• 后续基准：作者认为值得构建带步级标注、更长轨迹和多智能体协作的真实智能体场景基准（Appendix C）。

实验覆盖范围

• 评测轨迹：五个基准共4,033条轨迹，即ASSEBench Safety、ASSEBench Security、R-Judge、AgentHarm和ATBench（§3.1）。
• 时机与ASR：首次干预相对伤害步的比较用上述前三个基准中的1,260条不安全轨迹（§3.2）。论文写明ASR标注于ASSEBench Safety、Security、R-Judge和AgentHarm（Appendix C）。
• 对照与训练：Table 1比较四个API模型、开放骨干和八个安全监控器。训练轨迹来自AgentDoG与HarnessAudit，另加512对红队样本；红队轨迹只用于训练，评测集不含这些轨迹（Appendix A.4、B）。
• 消融：正文比较训练阶段、信用估计器、AFSD教师上下文和红队数据；附录D报告三个种子、4B与8B、操作点，以及把全部标注步用于SFT的对照。
• 标注与未报告项：地标与裁决由GPT-5.6 Luna提出，另有一个论文未点名的核验模型；J与Utility−ASR的相关系数为r=0.982（Appendix A.3）。论文未报告人工标注者与标签的一致性，也未报告在线任务完成率。

StepSafe是执行前的步级推理护栏，用ASPO学习何时继续、询问或停止。

• 问题：智能体伤害取决于已发生的动作、工具输出和交互。作者认为现有步级监控器能判断动作是否不安全，但不能从结果标签学到风险何时可见、干预到哪一步仍能阻止伤害，以及看似危险的步骤何时可以放行。
• 方法：每个提议动作前，模型只看任务、策略、有界历史和当前动作，输出CONTINUE、ASK或STOP及分类字段。SAPO按信号、边界和最后可阻止步打分，并且只与同一前缀的其他回复比较，同时给继续类和干预类固定更新份额。AFSD让模型充当教师：干预步看标注，安全步看从其误报中筛出的规则。数据在AgentDoG与HarnessAudit轨迹上标注，并用512对红队样本扩充。
• 结果：五个基准共4,033条轨迹上，StepSafe-4B的总J为53.0，ASR为27.6，Utility为80.0；8B为54.4、21.7、74.8（Table 1、Table 2）。作者称这是开源护栏中的SOTA，StepGuard的总J为46.2。Table 1中R-Judge更偏向4B（J 68.0对54.6），AgentHarm上ShieldAgent-7B的J为97.3。在1,260条不安全轨迹上，作者称8B恰在伤害步干预的比例为29.3%，漏检为10.9%。
• 作者结论：作者称阶段日程教模型在风险不可见时继续、在伤害临近时停止；误报规则教它何时不干预。作者同时指出，离线Utility不是在线任务完成，步级标签由语言模型生成并核验。