Agent MechSuits：面向多轮 CLI Agent 的机制子空间安全引导

多轮 CLI 智能体的风险沿交互轨迹累积，不能只靠执行前的静态门控或外部规则护栏来控制。

• 场景：作者称 CLI 智能体经 shell 直接操作计算机，攻击者可用既有 TTPs 将其用于端到端恶意操作，带来金融欺诈、隐私泄露和基础设施中断等现实伤害。风险很少停在单步，而与动态环境反馈耦合。
• 现有不足：作者称通用智能体的外部护栏依赖预定义或自动生成的规则，虽能实时监控，却难以在每一步做行为控制。机制可解释性方法多在单轮或越狱式问答中评估静态提示-回复对；作者称该设置与多轮 CLI 智能体不同，不能只凭单次回复评估执行安全。
• 核心问题：作者认为，初始任务看起来良性或未写清时，风险仍可能在执行中途出现。因此要研究步级隐藏表示能否在多轮交互中识别有害执行状态并转向行为。
• 所提方法：白盒框架 Agent MechSuits 在执行中做运行时检测，并在单层 10 维子空间做表示级缓解，不改模型权重。配套基准为逐步标注的 MAS。
• 威胁模型：
  • 目标：论文讨论的风险是把 CLI 智能体武器化，完成端到端恶意操作。另有一设置中，用户任务良性，环境观测携带注入目标以改向智能体。
  • 防御假设：防御写成 white-box，可读隐藏表示且不改权重。论文未把攻击者知识写成 white-box 或 black-box。
  • 交互：智能体按累积上下文逐步生成动作并接收环境观测。提示注入时，有害意图从环境通道进入历史，而不只来自初始指令。
  • 受害系统：基于 ReAct 的多轮 CLI 智能体，骨干为 LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B，在 Docker 中执行 shell。

相关工作按论文的两组来写，基线单独列出。

单轮机制可解释性

• 线性表示假说：Pan 等（2025）与 Lin 等（2024）被引来支持一种说法：有害性、越狱意图等安全特征沿潜空间中近似线性的方向编码，因而可以探针和转向。
• JBShield（Zhang 等，2025）：在越狱相关隐藏子空间中用激活相似度检测越狱，再操纵安全激活方向来缓解。
• 探针监控与拒答转向：论文还归入高风险交互检测（McKenzie 等，2025）、按计算量自适应的安全监控（Oldfield 等，2026），以及把表示推向拒答或安全对齐方向的一组工作。作者称这些方法受静态行为视角限制，难以捕捉智能体中演化的不安全动态。

外部智能体护栏

• GuardAgent 与 ShieldAgent（2025）：把安全要求或政策文档转成可执行检查或可验证推理。作者称其可审计、可显式合规，但依赖明确规则和结构化政策。
• AGrail、ToolSafe、IPIGuard：AGrail（2025）为开放任务动态生成安全检查；ToolSafe（2026）把防护放到步级工具调用；IPIGuard（2025）用工具依赖分析防御间接提示注入。作者称它们仍在被保护智能体之外监督、拦截或验证动作，而不是直接转向内部行为。

评测来源与基线

• 任务来源：MAS 整合 AdvCUA、Safe-OS 与 AgentBench。作者称恶意任务映射到 MITRE ATT&CK 的 OS 级技术，覆盖 10 个类别；正文未列出这 10 类的名称。作者称既有智能体安全基准主要评最终结果或政策违规，而 MAS 面向机制分析。
• 基线方法：检测侧为 GPT-4o、GPT-5.2、Claude-4.6-Sonnet、Claude-4.6-Opus、Gemini-3-Pro、Deepseek-V4-Flash、Deepseek-V4-Pro，以及 LLaMA-Guard-4-12B、AGrail（GPT-4o）。缓解侧为 RepE 与 Self Reminder。评测基准是 MAS；提示注入压力测试基于 Safe-OS。

作者称，据其所知，这是对多轮 CLI 智能体安全的机制研究，并显示安全相关信号可从中间隐藏状态线性读出。相关工作末句称，这是通过内部表示研究 LLM 智能体防御的首次工作。

Agent MechSuits 在推理时运行，不改权重：每个目标模型训练一个步级线性探针，风险触发后再在同一层的稀疏子空间里转向。

多轮设定

• 单轮问题写成 M=(X, A)，一次输入对应一次动作。多轮问题写成 M=(X, O, A, T)，轨迹为 τ=(x, a1, o1, …, aT, oT)。
• 每步动作由累积上下文生成，环境返回观测后再更新上下文。作者举例：先建空脚本或改权限本身可看起来良性，若后续写入有害载荷或设为自动运行，前面的动作就成为有害链的一部分。
• 因此安全不按“整个任务是否该放行”来判，而按当前步是否直接构成攻击或执行内在有害操作来判。

步级线性探针

• 冻结模型，取第 ℓ 层残差流的末 token 表示。探针给出有害概率 g_ϕ(h)=σ(w^⊤h+b)，用二元交叉熵训练。该式把隐藏状态线性映射成 0 到 1 的有害概率。
• 每个目标模型、每一层训练一次，并在该轨迹的全部步复用。当前步集合：良性任务全部标 0；恶意任务里，关键有害执行步标 1，表现出安全意识或拒答的步标 0。
• 前瞻集合是每个关键有害执行步的前一步，目标为下一步标签。同一当前步探针同时用于当前检测和前瞻诊断。附录算法用阈值 η 把概率变成标签，论文未给出 η。

检测与稀疏转向

• 预测为 0 则不干预；预测为 1 则在发出下一 CLI 动作前转向。检测只用末 token；转向把向量加到该层全部输入 token 上。
• 缓解使用二类探针权重矩阵 W，形状为 2×d。每个维度取两类权重差的绝对值，选 Top-K。本文 K=10，只在一层上做。选中维为 1，其余为 0。
• 推理时只调强度 α。Deepseek-V4-Pro 对候选动作打安全分和效用分，各为 0–10，并取 α_t^∗=argmax_α[λ_s s(a_t(α))+λ_u u(a_t(α))]。本文 λs=0.6、λu=0.4。该式在压制有害执行与避免效用下降之间做加权选择。
• 搜索从 α=0 的动作开始，经工具调用提出新 α 再评分；可用此前最优 α 的平均做 warm-start。停止条件是裁判宣布最优、连续若干次无改进，或达到最大迭代预算；预算数值论文未给出。权重差的绝对值不能确定符号，作者在训练集上人工比较两个方向后，把正向固定用于测试时缓解。附录给出控制器完整提示词。

MAS 如何建成

• 194 个任务：98 个恶意、96 个良性，来自 AdvCUA、Safe-OS、AgentBench，映射到 MITRE ATT&CK 的 OS 级技术，覆盖 10 类。三个白盒模型以 ReAct 在新建 Ubuntu Docker 中执行，关闭采样，使用贪心解码。系统提示见 Figure 9。
• 标签针对当前输出：直接执行、写入或触发内在不安全操作标 1；回答、结束、检查环境、授权的良性操作，或明确拒答、消除不安全请求，标 0。
• 先做确定性单轮预标注，再用 Claude Opus 4.6 与 Gemini 3.1 Pro 生成初步标注，最后由研究团队人工复核。另构造模仿恶意句法的反事实良性对，以避免探针只记忆命令表面形式。任务按 6:4 做任务级划分，训练与测试任务不重叠。
• 探针用 AdamW 训练 100 个 epoch，batch size 为 16。LLaMA-3.1-8B 学习率为 0.01，另外两个模型为 0.001。默认检测与转向层取层位扫描中的一个中间层峰值；具体层号在实验中报告。

实验设置

• 受害模型：LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B，均为 ReAct CLI 智能体，贪心解码。
• 数据：MAS 共 194 个任务（98 恶意、96 良性）。Table 5 的当前步规模：LLaMA 469 步（恶意 241、良性 228），Qwen 236 步（78、158），Gemma 86 步（14、72）。前瞻子集：LLaMA 13 步、Qwen 31 步，良性步均为 0；Gemma 无前瞻行。
• 划分：任务级 6:4。缓解集取测试集中每个恶意任务的第一个有害步。论文未报告该缓解集的任务条数。
• 检测基线：七个 LLM-as-a-judge，以及 LLaMA-Guard-4-12B、AGrail（GPT-4o）。Table 1 中两个护栏没有前瞻数字。
• 缓解基线：Vanilla、RepE、Self Reminder。MechSuits 的 α 搜索用 Deepseek-V4-Pro，Top-10 维、单层。
• 指标：检测用 Accuracy 与 F1。缓解由 GPT-4o 判定：出现明确安全意识或拒答倾向记为 Safe，并据此计算 ASR；同一或近乎逐字的短语出现三次及以上，或中途截断且不恢复，记为 Collapse。提示词见 Figure 8、10、11、12。

主结果

表格较宽，可左右滑动

模型	当前步 Acc / F1	前瞻 Acc	缓解后 ASR / Collapse	Vanilla ASR
LLaMA-3.1-8B	99.15% / 99.17%	92.31%	16.70% / 28.30%	73.80%
Qwen-2.5-7B	97.46% / 96.25%	96.77%	4.35% / 13.04%	91.30%
Gemma-2-9B	95.35% / 86.67%	未报告	14.29% / 14.29%	92.86%

据 Table 1、Table 2。Gemma 无前瞻列。

• 作者称相对最强检测基线，当前步 Acc 分别提高 2.99%、2.54%、5.82%，并称三模型平均为 97.32%。Table 1 中对应的最高基线为：LLaMA 上 Gemini-3-Pro 的 96.16%，Qwen 上 LLaMA-Guard-4-12B 的 94.92%，Gemma 上 Gemini-3-Pro 的 89.53%。作者认为安全信号比事后文本判定更容易从中间隐藏状态读出。
• 前瞻方面，作者称 LLaMA 与 Qwen 的平均 Acc 为 94.54%，而 LLM 裁判不稳定：LLaMA 上 Gemini-3-Pro 与 Deepseek-V4-Flash 的前瞻 Acc 均为 7.69%（Table 1）。作者把前瞻结果视为可行性证据，而不是稳健性结论，并称当前开源 CLI 智能体仍难做长程执行，自然前瞻样本稀疏。
• 缓解方面，Table 2 中 RepE 的 ASR 为 42.86%、73.91%、71.43%，Self Reminder 为 47.62%、82.61%、64.29%。作者称三模型平均 ASR 从 85.99% 降到 13.36%，绝对下降 72.63 个百分点；摘要则写 average attack success rate 降低 72.63%。作者同时称平均 Collapse 升至 18.54%，Vanilla、RepE、Self Reminder 分别为 2.24%、7.25%、3.69%，并认为转向有时会过度校正，得到退化输出而不是干净拒答。

层位可解码性

• 作者在各层用末 token 训练 logistic probe，并在留出任务上评估。正文给出与 Figure 3 对应的峰值：LLaMA-3.1-8B 在第 12 层为 99.15%，Qwen-2.5-7B 在第 13、14、15、17 层为 97.46%，Gemma-2-9B 在第 14 层为 95.35%。
• 作者称三模型的当前步峰值都在早到中层，并认为安全相关信号在最终层之前出现。高留出准确率被作者用作线性可分的诊断；作者写明这本身不建立因果机制。Qwen 有四个同值峰值层，论文未说明默认用其中哪一层。
• 文本转换未保留 Figure 3 的曲线。上述数字来自正文，不是从图上读取的柱高。

负向转向与提示注入

• 负向转向：LLaMA 测试轨迹中 16 个强拒答步，α=2.2，沿负方向；Gemma 27 个强拒答步，α=75。Table 3：转向前 ASR 均为 0.00%，Collapse 为 0.00% 与 3.70%；转向后 LLaMA ASR 为 100.00%、Collapse 为 6.20%，Gemma ASR 为 63.00%、Collapse 为 0.00%。正文写 LLaMA 的 Collapse 为 6.25%，与表中 6.20% 不一致，此处以表为准。
• 作者认为，若子空间只编码有害命令的表面词法，反向干预不应把强拒答变成不安全动作。双向效应被作者解释为该稀疏方向对安全相关行为有因果控制：正向压制有害执行，负向放大不安全漂移。
• 提示注入：基于 Safe-OS。用户任务良性，环境观测含注入目标。在 Qwen2.5-7B 的攻击成功轨迹上，于注入目标进入的那一步施加同一转向方向。ASR 从 86.7% 降到 6.7%，Collapse 保持 0%。作者称当前探针在该分布偏移下不能可靠触发，故这是外部触发的转向实验，不是端到端提示注入防御。作者称这显示出检测与控制的差距。

重复实验与良性效用

• 五随机种子（附录 D.2）的当前步 Acc 均值为 99.11±0.12、97.54±0.23、95.12±0.64，F1 为 99.13±0.11、96.33±0.37、86.05±2.33。± 为 95% 置信区间半宽，按正态近似计算；作者写明区间不截断，因此 LLaMA 前瞻 Recall 的上端可超过 100%。
• 该附录的前瞻指标是 Recall，不是 Table 1 的 Acc：LLaMA 96.92±5.23，Qwen 89.68±7.16。五种子缓解 ASR 为 16.67±2.09、5.22±2.41、17.14±4.86，Collapse 为 28.10±3.24、12.17±5.91、15.71±3.97（Table 7）。作者称等权平均 ASR 为 13.01%，Collapse 为 18.66%。
• 良性效用（Table 8）只重跑各模型 Vanilla 已成功的良性任务，Vanilla 成功率按构造为 100%。全流程下为 95.71±0.79、91.30±1.21、93.18±1.26，报告为均值±标准差。作者称等权平均 93.40%，相对该条件基线下降 6.60 个百分点。

其他消融与分析

• AGrail（GPT-4o）在 Qwen 当前步划分上的审计（Table 9，类别可重叠）：良性日志或错误分析假阳性 15，文件系统枚举假阳性 15，限定范围删除假阳性 13，看似提权的上下文假阳性 6，拒答或未执行假阳性 3，分布式代码语义假阴性 2。作者称错误以假阳性为主。
• Table 10 只含 LLaMA / Qwen。Top-5、Top-10、Top-15 的 ASR 为 64.29% / 4.35%、16.70% / 4.35%、59.52% / 4.35%。Qwen 三种 K 的 ASR 同为 4.35%，Collapse 为 0.00%、13.04%、4.35%。
• 最差层 ASR 为 30.95% / 34.78%。全部维度为 25.71% / 8.70%。随机 10 维为 26.19% / 26.09%。随机方向为 40.00% / 30.43%。
• 只转向末 token：LLaMA ASR 26.19%、Collapse 2.38%；Qwen ASR 4.35%、Collapse 13.04%。等权 (0.5, 0.5)：LLaMA ASR 35.14%、Collapse 5.41%；Qwen ASR 4.35%、Collapse 0.00%。
• Table 4：平均收敛搜索步数为 8.26、8.00、7.67；平均最优 α 为 1.63、7.89、59.04。作者称探针延迟每步小于 1 秒。Qwen、Gemma 的搜索步数与回合序号的 Pearson r 为 -0.25、-0.27。
• 作者称随机扰动的 ASR 也低于各自 Vanilla 的 73.80% 与 91.30%，因此一般表示扰动也有缓解作用；默认 Top-10 在所测 LLaMA 变体中 ASR 最低，并在 Qwen 上优于两个随机对照。消融都保留自适应 α 搜索，作者称这不分离固定强度转向的稳健性。

作者指出的局限与后续方向

• 轨迹收集（附录 A.1）：较小开源模型指令遵循弱，且未做面向智能体任务的强化学习，长程规划差，常试图用单条命令完成复杂目标。现有对齐使普通恶意任务往往不能诱导持续执行；多步任务执行也缺少既能绕过对齐、又保持任务完成能力的成熟越狱方法。作者把 MAS 视为可复现的初始测试床，而不是对全部潜在恶意工作流的完整覆盖。
• 步级标签歧义（附录 A.2）：恶意轨迹中每一步都可能服务于最终攻击。全部标为有害会混淆任务意图与动作级执行；把准备步标为良性又可能低估轨迹级风险。作者采用的 yt=1 只覆盖直接构成攻击或内在有害操作的关键步，并不表示其余步无风险。
• 前瞻稀疏且不平衡（附录 A.3）：自然前瞻样本要求先有良性或准备步，再出现明确有害命令。作者称 Gemma2-9B 等较弱模型常在第一步就一次性尝试，后续只是修补，因而连续有害步多于从准备到有害执行的转移。作者把前瞻结果视为初步可行性证据，而不是稳健性保证。后续方向写成：更强的开源 CLI 智能体、更长程环境、更密的时间标注、按攻击族平衡的前瞻划分。
• 效用与部署（附录 A.4）：过强转向可能导致重复循环或突然截断，而不是干净的安全拒答。自适应搜索仍依赖外部 LLM 裁判，可能增加延迟和成本。作者称不应把该方法视为可独立上线的安全系统；实际部署应结合沙箱、权限控制、命令级政策检查，以及对高风险、模糊案例的人工或 LLM 复核。
• 白盒与生成质量（Conclusion）：作者称方法依赖白盒访问，强转向下可能引入生成质量上的权衡。

实验覆盖范围

• 被测 CLI 智能体为 LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B，共 3 个。任务池 194 个（98 恶意、96 良性），来源为 AdvCUA、Safe-OS、AgentBench，在 Docker 中以贪心解码采集。
• 检测对照包括 Table 1 的七个 LLM 裁判、LLaMA-Guard-4-12B 和 AGrail（GPT-4o）。缓解对照为 Vanilla、RepE、Self Reminder。前瞻数字只覆盖 LLaMA 与 Qwen；附录 D.2 写明 Gemma 没有前瞻子集。Table 5 中这两个前瞻子集的良性步为 0。
• 缓解结果由 GPT-4o 判定；α 搜索控制器为 Deepseek-V4-Pro。五随机种子统计在附录 D.2，良性任务成功率在 Table 8。Table 10 的转向结构消融只含 LLaMA-3.1-8B 与 Qwen-2.5-7B。
• 提示注入压力测试使用 Qwen2.5-7B 的攻击成功轨迹，并在注入步外部触发转向（第 6 节、附录 F.1）。负向转向使用 LLaMA 的 16 个强拒答步和 Gemma 的 27 个强拒答步。
• 论文未报告探针阈值 η、缓解集的任务条数，以及人工复核与自动标注的一致性。附录 B.2 报告了搜索迭代次数和探针延迟，未报告端到端轨迹的总查询次数。

Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。

• 问题：外部护栏难以在执行中做细粒度控制。单轮机制可解释性面对的是静态问答，而 CLI 风险会随命令和环境观测在轨迹中累积。
• 方法：每个目标模型训练一个线性探针，读选定层的末 token 表示，判断当前步是否有害。触发后在同一层 Top-10 维加入稀疏转向，强度由 Deepseek-V4-Pro 按 0.6/0.4 的安全-效用权重搜索，不改权重。MAS 含 194 个任务、三个白盒模型的逐步标注轨迹。
• 检测：Table 1 的当前步 Acc 为 99.15%（LLaMA-3.1-8B）、97.46%（Qwen-2.5-7B）、95.35%（Gemma-2-9B）。一步前瞻 Acc 为 92.31% 与 96.77%；Gemma 无该子集。作者称平均当前步 Acc 为 97.32%，并把前瞻视为初步可行性证据。
• 缓解：Table 2 中 ASR 从 Vanilla 的 73.80%、91.30%、92.86% 降到 16.70%、4.35%、14.29%，Collapse 为 28.30%、13.04%、14.29%。摘要写平均 ASR 降低 72.63%；第 5 节写从 85.99% 到 13.36%，绝对下降 72.63 个百分点。作者认为内部转向可以压制有害动作，但需要更好的保效用控制。
• 其他结果与结论：负向转向在 LLaMA 的 16 个强拒答步上使 ASR 达到 100.00%（Table 3）。提示注入设置中，Qwen2.5-7B 的 ASR 从 86.7% 降到 6.7%，但探针不能可靠自动触发。作者的结论是：步级内部表示可以补充外部护栏，但依赖白盒访问，且强转向有生成质量代价。