工具调用改变大语言模型的拒答机制

工具中介（tool mediation）是否改变模型把有害请求转成拒答的内部计算，而不只是改变提示或输出格式。

• 场景：作者称 LLM 越来越多地通过结构化工具调用与外部系统交互，安全对齐不仅要让模型拒绝有害请求，还要避免把请求转成可执行动作。对话接口里拒答是告诉用户不要做；工具接口里拒答还必须阻止模型产出可执行动作。
• 已有现象：Kumar et al. (2025)、Cartagena & Teixeira (2026)、Yu et al. (2026) 报告，自然语言下会拒答的模型，在工具调用格式下拒答率更低。作者认为这一行为差距的机制刻画仍不清楚：可能只是提示、工具可用性、输出约束或解码变了，底层拒答机制不变；也可能工具中介改变了检测、表征或实现拒答的计算。
• 核心问题：同一模型、同一请求内容下，对话通道（conversational channel）与工具中介通道的拒答机制是否一致。作者把两种交互称为 channels。
• 观察与主张：作者称有害性信息在两种输入里都仍被强编码且可跨通道迁移；表征几何与神经元分析显示两种模式把与伤害相关的计算系统性分配到不同位置。对话输入在较低的感知有害性下即可拒答，工具中介输入要越过更高的有效拒答阈值才不再放行。逐步削弱拒答计算时，工具中介拒答在更低干预强度下被破坏，良性能力仍保持。作者认为工具中介并非简单降低内部对伤害的感知，而是影响其向拒答的转化，常规安全评测可能不能完全迁移到 LLM 智能体。
• 本文做法：在八个开源指令微调模型上，用 AgentHarm 的配对渲染分解从对话到工具行动的累积变化，再比较 harm 方向、晚期 MLP 神经元贡献、匹配有害读数下的拒答阈值，以及方向消融与 GCG 下的脆弱性。

工具接口与对话接口的安全行为

• Kumar et al. (2025) 与 Cartagena & Teixeira (2026)——在配对的有害请求上比较对话与工具调用渲染的拒答率，报告前沿模型在工具调用设定下拒答更弱。作者称这确立了行为差距，但没有判定拒答机制是否共享；本文采用同样的配对表述并考察其内部基础。
• Yu et al. (2026)——独立报告文本行为与工具中介行为的相关分歧，把工具可用性当作单一部署模式因素。作者指出其设计没有“工具可见、但明确要求以对话方式回应”的条件，因此分不开工具暴露与“通过该工具行动”的操作可供性；本文加入这一中间条件。

拒答的机制分析

• Arditi et al. (2024)——称拒答可被低维激活方向强烈中介，沿该方向干预会改变拒答行为。后续工作认为纯一维解释不够，并找出额外安全方向与更高维几何结构（Pan et al., 2025; Wollschläger et al., 2025; Joad et al., 2026）。
• Zhao et al. (2025b)——称有害性与拒答被分开表征、可以因果解离，拒答方向主要反映表层拒答信号而不是模型对有害性的评估。Wang et al. (2025) 发现与拒答相关的方向可跨语言迁移。

定位安全相关组件与对抗探测

• Zhao et al. (2025c)、Zhou et al. (2025) 用激活对比、修补或重要性打分定位神经元或注意力头，再用干预验证。Wei et al. (2024) 称要把安全关键神经元与效用相关神经元解开；Chen et al. (2025) 用层匹配的随机神经元作对照。该方法更早用于 Dai et al. (2022) 的知识神经元与 Tang et al. (2024) 的语言特异神经元。
• Greedy Coordinate Gradient（GCG，Zou et al., 2023）通过优化输入扰动诱发有害行为；语义级越狱包括 PAIR（Chao et al., 2025）与 TAP（Mehrotra et al., 2024）。本文实验用 GCG 比较两通道，未把 PAIR、TAP 当作基线。

基线与数据：行为比较的参照是对话 reference（自由文本、无工具、无额外智能体指令）。数据来自 AgentHarm（Andriushchenko et al., 2025）公开测试行为；附录用 PrivacyLens（Shao et al., 2024）派生的隐私披露场景做小规模复核。方向估计遵循 difference-in-means（Rimsky et al., 2024; Marks & Tegmark, 2024; Arditi et al., 2024）。

作者把本文定位为：先前定位与干预跨模型、检查点或语言进行；本文在单一模型内固定权重和请求内容，只改变请求的交付通道，聚焦拒答的输出实现（output realization），即与在输出中产生拒答相关的内部计算。

作者在同一模型内固定权重与请求内容，只改变交付通道，用 harm/refusal 方向、通道选择性神经元消融和输入空间攻击 比较对话与工具中介拒答。

问题设定与五种渲染

评测全部建立在 AgentHarm 上：行为与具体工具目标函数配对。八个模型用同一组公开测试行为。比较条件时只用不含特定工具提示（hint）的意图。

每个意图渲染成五种变体，只改系统提示或追加条件指令，原 AgentHarm 提示不变。三种独立措辞的指令取平均，完整措辞在附录 B.1 的 Table 5，此处不复述。

1. Reference：自由文本回答，无工具、无额外智能体指令。
2. Agentic framing：系统提示鼓励使用工具，但不暴露工具。
3. Tool exposure：暴露七个通用工具和相关 AgentHarm 目标函数，但要求以对话方式回答。exposure1 保留智能体提示中“发出工具调用”的指令；exposure2 去掉该指令，其余相同，以避免与“用英语回答”冲突。
4. Tool action：智能体框架 + 相关工具 schema + 明确执行指令。

条件是累积的，相邻列之差用来分离每一步。工具通道（及 exposure、action）的合规靠解析是否调用相关目标函数；reference 与 agentic framing 用 LLM 评审 Qwen3Guard-Gen-4B。

方向与干预

分析取决策位置：紧挨第一个生成 token 之前的残差流位置。对通道 c∈{C, T}、层 ℓ，用差分均值并单位化：

r = u(μ₁ − μ₀)，u(v)=v/|v|。

harm 方向 r_H 对比有害与良性意图；refusal 方向 r_R 在有害意图上对比拒答与遵从。某通道两类结果都不足时省略该方向。按意图做五折交叉验证。还构造通道内中心化后的 neutral 方向，以及两通道联合估计的 shared 方向。除非另述，方向在每个模型最深探测层估计；干预从预设层 ℓ0 起，在此后每一解码层输出、所有 token 位置和生成步施加。方向消融为 x ↦ x − λ(x⊤r̂)r̂，λ=1 为完全去除，λ>1 为过度消融。拒答失败的最小剂量作为对该干预的稳健性度量。

对话通道拒答率高，多数模型无法稳定估计对话 refusal 方向；附录 A 称六个模型几乎拒绝全部有害请求，该方向只对 Ministral-3-8B 与 Llama-3.1-70B 报告。工具通道两类结果都够，故主要干预方向取工具通道 refusal 方向，并设中心化 neutral refusal 方向作对照。harm 与 refusal 在两者都能估计时余弦相似度为天花板的 0.76–0.97（附录 C.4），因此作者用 harm 作为更稳定的读出。

神经元贡献与因果消融

在四个连续晚期 MLP 层上定位通道选择性神经元。每层用两通道合并数据估计 shared harm 方向。神经元 j 在通道内的有害–良性贡献差记为 Δs_j^(C)、Δs_j^(T)，按相对贡献 q_j = |Δs_j^(T)| − |Δs_j^(C)| 排序。top-K 为工具选择性集合 S_T，bottom-K 为对话选择性集合 S_C。另抽大小为 K、按层和总贡献幅度匹配、且与两集合不交的随机对照 S_rand。选择在四层上全局进行，按意图两折交叉拟合。把选中神经元均值消融到该通道良性均值（不消到零），在留出的有害意图上测量最终层、通道特异 harm 投影的变化。稠密模型中一个单元是单个 MLP 神经元；gpt-oss-20b 中是 (expert, neuron) 对。注意力头上做了类似的 top-K 选择，见附录 C.6。

脆弱性测试与成功判定

方向消融只在基线时两通道都拒答的提示上比较剂量。作者称不同方向对通道的针对性可能不同，故把该结果视为提示性证据。

输入空间测试使用 GCG，两通道用同一优化程序和搜索预算，优化目标必须随通道而变。附录 B.4 给出具体设置：后缀 20 个 token，每步 256 个替换、8 个可微候选，最多 40 步，目标输出前缀 12 个 token；对话前缀是遵从性开场，工具前缀是包含相关工具名的调用。判定：对话通道在 256 个 token 内出现该前缀即算打破；工具通道以字符串包含工具名来判定。只在稠密模型、且基线两通道都拒答的提示上统计打破拒答所需步数。主实验在可行时关闭原生推理/思考模式。Gemma-4 与 Ministral-3 为多模态架构，只用文本解码器并按稠密模型处理。

实验设置

• 模型：Table 1 列出八个开源指令微调模型：Qwen3 Instruct 8B 与 32B、Llama-3.1 Instruct 8B 与 70B、Ministral-3 Instruct 8B、Gemma-4 Instruct 12B 与 31B、gpt-oss 20B（MoE）。参数量 8B–70B。主实验关闭原生推理或思考模式。
• 数据：AgentHarm 公开测试行为；比较条件时排除含特定工具 hint 的意图。论文未在正文给出该子集的条数。每个意图 × 五种条件 × 三种指令措辞，意图级量先对三种措辞平均。附录 C.8 另用 PrivacyLens 派生的隐私披露场景做小规模复核，论文未给出该子集规模。
• 指标：拒答率及相对 reference 的 Δ（百分点写在括号内；Table 3 的 Δ refusal 为相对降幅）。harm 方向的跨通道余弦相似度、折内可重复性、神经元贡献的 Spearman ρ、有害/良性分类 AUROC 及联合两方向的 joint gain。Figure 2 报告 P(refuse) 相对 harm 投影，以及阈值位移 Δ̄、ΔT1、ΔT3。GCG 报告 40 步内打破比例和中位步数。神经元消融报告 Cohen's dz。
• 评审：工具侧解析是否出现相关 AgentHarm 目标函数；对话侧用 Qwen3Guard-Gen-4B。附录 C.1 给配对、按行为的 bootstrap 95% 置信区间。人工一致性见附录，论文在可见文本中报告了与 Cohen、Gwet 相关的引用，但未在已读正文给出具体一致性数值，故不写数值。
• 方向估计：五折按意图交叉验证；神经元选择两折。干预层 ℓ0 为预先指定，论文正文未给出每个模型的 ℓ0 数值，Figure 2 标注了各面板的层号。

主结果

Table 2 是 AgentHarm 有害行为上五种条件的拒答率（三种指令平均）。Δ 相对 Reference。

表格较宽，可左右滑动

模型	Reference	Agentic (Δ)	Tool exp.2 (Δ)	Tool exp.1 (Δ)	Tool action (Δ)
Qwen3-8B	0.971	0.990 (+0.019)	0.787 (−0.183)	0.744 (−0.226)	0.537 (−0.434)
Llama-3.1-8B	0.941	0.963 (+0.023)	0.551 (−0.389)	0.395 (−0.545)	0.096 (−0.844)
Qwen3-32B	0.968	0.969 (+0.001)	0.811 (−0.157)	0.730 (−0.239)	0.295 (−0.673)
Ministral-3-8B	0.725	0.806 (+0.081)	0.642 (−0.083)	0.535 (−0.190)	0.454 (−0.271)
Gemma-4-12B	0.935	0.940 (+0.005)	0.871 (−0.064)	0.850 (−0.085)	0.780 (−0.155)
Gemma-4-31B	0.945	0.921 (−0.024)	0.857 (−0.088)	0.791 (−0.155)	0.673 (−0.273)
gpt-oss-20b	0.998	0.981 (−0.017)	0.889 (−0.110)	0.826 (−0.172)	0.794 (−0.204)
Llama-3.1-70B	0.892	0.974 (+0.082)	0.715 (−0.176)	0.642 (−0.250)	0.607 (−0.284)

• 作者称，相对 reference，Tool action 使全部八个模型拒答率下降 15.5–84.4 个百分点；降幅最大为 Llama-3.1-8B（−0.844）与 Qwen3-32B（−0.673），最小为 Gemma-4-12B（−0.155）。Agentic framing 的变化小，且大多统计上不显著（附录 C.1 给区间）；作者认为不对称主要由工具暴露和发出调用的指令驱动。
• 作者称，对话拒答接近饱和且彼此接近，Tool action 拒答跨越单位区间的大部分，两种排序只弱对应。因此对话安全测量对“模型可以行动”的部署提供的信息很少。
• 工具暴露：作者称即使用英语散文回答，目标工具一可见拒答就下降。若用常规智能体提示（exp.1），暴露占最终降幅的 35–88%；去掉“发出工具调用”指令后（exp.2）占 23–62%。附录 C.2 称暴露后的拒答相关表征也移向 tool-action 条件。

有害性表征与拒答阈值

Table 3 在最深探测层比较通道。跨通道余弦相似度 r_H^C 与 r_H^T 为 0.22–0.71（最低 Llama-3.1-8B、Gemma-4-31B 均为 0.22，最高 gpt-oss-20b 为 0.71）。折内余弦 r̂(1), r̂(2) 为 0.94–0.99，gpt-oss-20b 为 0.94。神经元贡献的跨通道 Spearman ρ 为 0.11–0.45，通道内天花板为 0.96–0.98，gpt-oss-20b 天花板为 0.72。

• 解码：对话方向在工具表征上的 AUROC 为 0.758–0.913，工具方向在对话表征上为 0.732–0.941。作者称两投影联合使用时，工具提示 AUROC 相对较好方向的变化至多为 ±0.02（表中 joint gain 从 −0.020 到 +0.010）。Table 3 的相对拒答降幅 Δ refusal 从 Gemma-4-12B 的 −16.5% 到 Llama-3.1-8B 的 −89.8%。作者称工具中介没有消除识别有害内容所需的信息，但两方向几何上不相同，分歧随深度逐步出现（附录 C.3）。
• 因果：七个稠密模型在每个 K≥800 上，消融本通道神经元使最终层 harm 投影下降更多于消融另一通道的神经元（附录 C.6）。K=8000 时 Cohen's dz：工具通道 0.31–1.58，对话通道 0.73–2.48。注意力头粒度上这一解离不能一致复现。作者称这与 MLP 单元比注意力更分化的既有说法一致，并引用 Wei et al. (2024)。
• 阈值：Figure 2 中蓝、红曲线分别为对话与工具的 P(refuse)，向下三角为 50% 拒答阈值。各面板标注的总体阈值位移 Δ̄ 为：Qwen3-8B +0.65、Qwen3-32B +0.81、Llama-3.1-8B +0.88、Llama-3.1-70B +0.30、Ministral-3-8B +0.36、Gemma-4-12B +0.30、Gemma-4-31B +0.40、gpt-oss-20b +0.22。最不有害三分之一的 ΔT1 为 0.43–0.98；最有害三分之一的 ΔT3 除 Llama-3.1-8B 为 +0.79 外，其余为 0.00–0.50，Gemma-4-12B、Gemma-4-31B、Llama-3.1-70B 的 ΔT3 标为 +0.00。作者称工具阈值在全部八个模型中落在观察到的有害意图分布内，对话阈值在八个中的五个落在该范围之下。附录 C.5：沿 harm 轴的位移相对随机方向并不不成比例。作者认为差距反映的是有害性如何转成拒答，而不是感知到的伤害降低。

GCG 与方向消融下的脆弱性

Table 4 只统计基线时两通道都拒答的提示，稠密模型，搜索预算 40 步。“40+”表示中位步数超过预算、该通道在预算内未被打破。

表格较宽，可左右滑动

模型	≤40 步打破 T	≤40 步打破 C	中位步数 T	中位步数 C
Qwen3-8B	92%	25%	10	40+
Qwen3-32B	92%	8%	20	40+
Llama-3.1-8B	83%	0%	6	40+
Llama-3.1-70B	100%	0%	2	40+
Ministral-3-8B	100%	92%	2	4
Gemma-4-12B	20%	0%	40+	40+
Gemma-4-31B	25%	0%	40+	40+

gpt-oss-20b 未列入 Table 4。作者称同一搜索预算下工具中介拒答被更容易打破；若干模型上很小的输入修改即可抑制工具侧拒答，对话拒答在同一搜索下仍保持。Gemma-4 两档在 40 步内打破工具拒答的比例为 20% 与 25%，中位步数均为 40+。Ministral-3-8B 上对话侧 40 步内也被打破 92%，中位步数 4，与工具侧的 2 接近。附录 C.7：在两通道基线都拒答的提示上，无论消融通道中性 refusal 方向还是工具通道方向，工具中介拒答都在更低剂量被打破。作者将其视为提示性证据，而不是与方向无关的稳健性检验。

其他消融与分析

• 贡献 1：七个稠密模型上，消融本通道神经元对 harm 表征的破坏大于另一通道或随机神经元；正文未单列随机对照的 dz。
• 贡献 2：由工具暴露与明确执行指令得到的 refusal 方向在多数模型上高度对齐；正文未给出该余弦的逐模型数字，细节在附录 C.2。
• 附录 C.8：作者称在 PrivacyLens 派生场景上看到性质相似的行为与表征模式；已读文本未给出该附录的拒答率或 AUROC。
• 良性能力：摘要称逐步削弱拒答计算时良性能力仍保持；已读正文未给出效用指标的具体数字。
• 人工判定示例：附录表格给出能力限制式遵从与伤害拒答并存的个案（如 Gemma-4-31B），说明合规准则在对话侧依赖评审、工具侧依赖调用解析；这些是定性例子，没有汇总比例。

作者指出的局限与后续方向

• MoE：Limitations 称 gpt-oss 表现出同样的行为差距，但稠密模型上的机制分析不能直接迁到其 MoE；专家路由带来额外通路。作者认为行为效应比稠密模型里定位到的机制更一般，把机制分析扩展到 MoE 需要显式考虑专家选择与路由。
• 表面差异：Limitations 称尽管意图在通道间匹配，确切措辞和合规准则（工具调用解析相对 LLM 评审）必然不同，因此表面差异仍可能贡献观测到的行为差距的一部分。
• 数据范围：Limitations 称评测覆盖的有害、良性意图和接口未必捕捉真实工具使用与智能体部署的多样性。作者同时称已在 PrivacyLens 派生的隐私披露场景上确认性质相似的行为与表征模式（附录 C.8）。
• 推理模式：Limitations 称与其他机制可解释性研究类似，本文聚焦标准推理设置，不考虑扩展推理或思考模式，工具使用与拒答的交互在那里可能不同。作者称把这些扩展留待未来工作。
• 来源未知：Limitations 称实验刻画了与拒答差距相关的表征和因果机制，但没有确立其起源；无法判定通道依赖行为来自预训练、指令微调、安全对齐、工具使用训练还是这些阶段的交互。作者认为找出该行为在何处被引入，对理解安全行为的发展、以及能否通过训练、推理时控制或接口设计缓解，都是重要的未来方向。

实验覆盖范围

• 行为测量覆盖 Table 1 的八个模型、AgentHarm 公开测试行为上的五种累积提示条件，每种条件三种指令措辞取平均；机制上的神经元解离报告在七个稠密模型，GCG（Table 4）也只含这七个稠密模型。
• 合规判定分成两套：工具暴露与工具行动解析目标函数调用；reference 与 agentic framing 使用 Qwen3Guard-Gen-4B。方向按意图五折交叉验证，神经元选择两折。
• 方向消融与 GCG 都限制在基线时两通道均拒答的提示上；GCG 预算为最多 40 步，后缀 20 token。论文未报告每次攻击的查询次数或墙钟时间。
• 注意力头粒度的解离在附录 C.6 中不能一致复现；对话 refusal 方向因遵从样本不足，只对 Ministral-3-8B 与 Llama-3.1-70B 估计。
• 主实验在可行时关闭思考模式；附录 C.8 在 PrivacyLens 派生场景上做了更小规模的行为与表征复核。论文讨论了 PAIR 与 TAP，实验中的输入空间攻击只用 GCG。

作者在八个开源指令模型上研究：同一有害意图从对话改由工具交付时，拒答为何变弱，内部计算是否也变了。

• 问题：工具环境里拒答必须阻止可执行动作。已有工作报告工具格式下拒答更低，但没有分开“看见工具”和“被要求执行”，也没有在同一权重上比较两通道的机制。
• 做法：用 AgentHarm 把过渡拆成智能体框架、工具暴露和明确执行。对话侧用 Qwen3Guard-Gen-4B 判拒答，工具侧解析目标函数调用。再用差分均值的 harm/refusal 方向、晚期 MLP 神经元的通道选择性消融，以及分级方向消融和 GCG，比较输出侧的拒答实现。
• 行为：Table 2 中 Tool action 相对对话 reference 的拒答率下降 15.5–84.4 个百分点，Llama-3.1-8B 降至 0.096，Gemma-4-12B 仍为 0.780。智能体框架本身变化小；工具可见已占最终降幅的约 23–88%，视 exp.1 或 exp.2 而定。
• 机制：Table 3 中跨通道 harm 方向余弦仅 0.22–0.71，但交叉解码 AUROC 仍达 0.732–0.941，联合读出增益不超过 ±0.02。七个稠密模型里，消融本通道神经元比另一通道更削弱本通道的最终层 harm 投影。Figure 2 显示工具通道的 50% 拒答阈值更高，最不有害三分之一上的拒答率差 ΔT1 为 0.43–0.98。
• 稳健性：Table 4 中，基线双通道都拒答的提示上，Llama-3.1-70B 在 40 步内打破工具拒答的比例为 100%、对话为 0%，中位步数 2 对 40+；Gemma-4 上工具侧 40 步内仅 20–25% 被打破。作者的结论是：模型仍保留有害性信息，但转化成拒答的阈值和稳健性随通道改变，而且工具一暴露就已出现；对话拒答不应被当成与接口无关的属性。作者同时写明，实验没有确定这一差距产生于训练的哪一阶段。