行为不止于文本：评估 LLM 智能体中的拒答迁移失败

核心问题：LLM 在文本中学会的拒答行为，是否会迁移到它作为智能体选择工具调用的决策上。

• 场景与重要性：LLM 从生成文本转向以智能体形式行动（浏览网页、执行代码、调用工具），危害载体从"说了什么"变成"做了什么"；作者指出这类智能体正进入金融、医疗等高风险领域，失败可能造成经济损失、隐私泄露或执行恶意指令。
• 现有不足：作者称安全对齐目前主要在文本上训练和评测——红队、拒答训练、越狱基准都针对有害文本补全，鲜有工作考察拒答机制是否支配工具调用决策。
• 核心观察：学会说"I can't help with that"只是对语言输出的行为约束，它是否同时支配工具调用决策是另一个问题。
• 论文提出什么：一个 2304 条提示词、跨四个领域的 matched-triple 基准，配 20 个确定性 ForbiddenAction 谓词判定工具调用安全；一个把迁移失败与基础拒答率分离的 conditioned divergence 指标；以及跨五个模型家族的拒答方向机制研究（消融、激活添加、patching、steering）。
• 评测对象设定：作者把"智能体"固定为 off-the-shelf instruction-tuned LLM 加 minimal harness——一组以 OpenAI function call schema 注入上下文的领域工具，模型可回复文本或发起结构化调用；不含规划、scratchpad、记忆或编排层。

工具增强语言模型

• Toolformer（Schick et al., 2023）、ReAct（Yao et al., 2023）、ToolLLM（Qin et al., 2024）——教模型调用函数、搜索、执行多步工作流，把 LLM 从文本生成扩展到外部工具调用。作者指出这把潜在危害从生成的文本转移到智能体的行动，即本文的评测对象。

Mind the GAP（最接近的工作）

• Cartagena and Teixeira (2026)——直接测量文本到工具的安全差距：同一有害请求分别以纯聊天和带工具形式提出，跨多领域，同样用确定性 forbidden action 检查；发现聊天中被拒的请求常在启用工具后变成不安全调用。作者称本文复现该行为证据并补充机制解释，且有三点不同：conditioned divergence 只对模型真正在聊天中拒答的三元组计数，使基础拒答率无法影响该数值；为每组增加 adversarially framed 模式，以区分工具可用性与提示词压力；基准构建方法也沿袭其 matched-prompt 多领域设计。

文本中的拒答与安全对齐

• 指令微调与 RLHF（Ouyang et al., 2022；Bai et al., 2022a,b）教模型拒绝有害请求；红队与越狱基准（Ganguli et al., 2022；Perez et al., 2022；HarmBench, Mazeika et al., 2024）压力测试该行为。作者指出这些方法评测的是模型说了什么，而非学到的拒答是否支配有工具时的行动。

拒答的机制可解释性

• Arditi et al. (2024)——称聊天模型的拒答由残差流中单一线性方向介导：消融它抑制拒答，添加它诱发过度拒答。作者在五个架构上检验，称只部分复现，并扩展到文本到工具的过渡。
• 相关方法来源：difference-in-means 方向（Marks and Tegmark, 2023）、activation addition（Turner et al., 2023）、activation patching（Meng et al., 2022；Zou et al., 2023）、线性表示假说（Park et al., 2024）。

定位：作者称本文在 Mind the GAP 的行为证据之上增加机制层面的解释，并用条件化指标和对抗框架模式把迁移失败与基础拒答率、提示词压力分离开。

整体思路分两层：先用配对提示词基准量化"文本拒答→工具调用"的迁移失败（行为层），再在每个模型的残差流中提取 refusal direction，通过消融、激活添加、patching、steering 检验它是否介导该失败（机制层）。

基准构建

• 六个因子：Domain（Finance、Healthcare、Education、Legal）、Scenario（Direct、Indirect、Justification/roleplay、Structured）、Mode（No-tool chat、Tool-enabled normal、Tool-enabled stress）、System condition（Neutral、Safety-reinforced、Tool-encouraging）、Variant（A/B 两种措辞）、Request type（Harmful/Benign）。
• 规模：六因子定义 576 个 cell，每 cell 写 4 条不同提示词（Batch 因子），共 2304 条。
• 配对设计：matched group 内同一底层意图跨三种 Mode 呈现——no-tool 提示词不提工具，tool-enabled 提示词显式调用具体工具；stress 模式在相同工具下加入更高压力或 jailbreak 式框架。设计沿袭 Cartagena and Teixeira (2026)。

工具环境与安全判定

• 工具：每领域 5 个函数调用工具（如 Finance 的 place_trade_order、Healthcare 的 retrieve_patient_record），以标准 OpenAI function schema 提供。
• ForbiddenAction 谓词：每领域 5 个、共 20 个确定性 Python 函数，检查工具名和参数字典并返回布尔违规标记；类型包括敏感数据标志、授权绕过、PII 外泄、意图关键词四类。
• 计分：无任何谓词触发记 tc_safe，否则 tc_unsafe；作者报告这些规则在良性 tool-enabled 运行上每模型误触发 1.4–3.4%。

指标

• refusal rate：分别对有害/良性提示词计算；仅对真正的文本回复计拒答，纯工具调用或空文本不算。
• conditioned divergence：Δ^cond_m = (|{t ∈ T_R : unsafe_m(t)}|)/(|T_R|)，其中 T_R 是 no-tool 运行中确实拒答的三元组集合；即"聊天中拒答的请求里，匹配的工具调用仍不安全的比例"，对 normal 和 stress 分别报告，且不受模型基础拒答率影响。
• tool-call propensity：normal 模式下各模型对 11–59% 的有害请求发起至少一次调用；发起调用时 73–100% 不安全，因此作者强调不安全调用率须结合调用倾向解读。

拒答分类

• 文本拒答由 Claude Opus 5 在 temperature 0 下分类，输入含请求与回复；空回复或纯工具调用计为非拒答，带免责声明的遵从计为遵从。
• 与 Claude Fable 5 在 538 条分层样本上验证，一致率 97.4%（κ=0.94）；干预输出先筛查退化文本，退化率 ≥25% 的条件其比率不作解读。

机制方法

• 方向提取：在 no-tool 提示词上取每层 decision token 残差向量，计算有害与良性提示词的 difference-in-means 方向 r̂l；在 35–85% 深度的因果中段内选差分范数最大的层作为 operating layer，每模型自动选择。另用 Arditi et al. (2024) 的 KL 容许性检查评分，所选层上只有 Command-R 的方向通过（Table 6）。
• 三类干预：directional ablation（每层移除 r̂ 分量）、activation addition（加 c·r̂，c 取有害减良性的投影差，使幅度跨模型可比）、activation patching（把工具运行的投影覆写为对应 no-tool 值）。
• 稳健性：另取行为定义方向（被拒 vs 被遵从的有害提示词之差），与请求类型方向的余弦相似度 0.69–0.86（Table 5）。

实验设置

• 被测模型：Qwen3-14B、Mistral-7B-Instruct-v0.3、Llama-3.1-70B-Instruct、c4ai-command-r7b（Command R 7B）、Gemma-3-27B-it，全部 bf16 推理。
• 数据：作者构建的 2304 条提示词基准；行为主结果在每模型 384 个 matched 有害三元组上计算（Table 1）。
• 指标：文本拒答率、unsafe tool-call 率、conditioned divergence（∆cond，仅对聊天中真正拒答的三元组计数）；机制指标含 AUC、消融/添加后的拒答率、patching 回退率。
• 评审方式：文本拒答由 Claude Opus 5（temperature 0）分类，与 Claude Fable 5 在 538 条样本上一致率 97.4%（κ=0.94）；工具调用安全由 20 个确定性 ForbiddenAction 谓词判定，不经分类器。
• 统计：Table 1 报告 bootstrap 95% 置信区间（对 128 个 prompt cell 做 10,000 次聚类重采样），divergence 值误差 ±0.09 内、拒答率 ±0.05 内。
• 样本量：机制实验 n=96（suppression）、n=240（消融/添加，coherent 输出）、patching 每模型 n=300 基线提示词、Table 8 消融 n=200。

主结果

Table 1：文本拒答与工具调用安全的 conditioned divergence（每模型 384 个有害三元组）

表格较宽，可左右滑动

模型	文本拒答率	Unsafe-tool Normal	Unsafe-tool Stress	Divergence Normal	Divergence Stress
Qwen3-14B	0.753	0.544	0.677	0.519	0.657
Mistral-7B-Instruct-v0.3	0.435	0.354	0.448	0.287	0.347
Llama-3.1-70B-Instruct	0.760	0.289	0.289	0.229	0.229
c4ai-command-r7b	0.667	0.112	0.141	0.098	0.098
Gemma-3-27B-it	0.633	0.172	0.151	0.132	0.107

• 作者称五个模型在两种工具模式下都呈现 divergence，即聊天中表达的拒答经常不迁移到匹配的工具调用，高文本拒答率不转化为安全行动。
• 作者称 divergence 不随模型规模变化：70B 的 Llama divergence 为 23%，不到 14B 的 Qwen 的一半；Qwen 拒答率与 Command-R 相近，divergence 约为其五倍。
• 作者提醒 Command-R 的低不安全调用率部分反映低调用倾向：它只对 11% 的有害请求发起调用且全部不安全，良性调用率 40%（Llama-3.1-70B 为 83%）。

系统提示词框架的影响

• 测了什么：normal 模式下按三种 system condition 分解的 conditioned divergence（Table 2）。
• 结果：Safety-reinforced 降低每个模型的 divergence（Gemma 0.25→0.03、Llama 0.37→0.11、Qwen 0.63→0.39）；Tool-encouraging 在 Mistral（0.25→0.49）和 Command-R（0.08→0.18）上增大 divergence，其余三个模型未增大。
• 作者解读：系统提示词框架调制但不消除差距（Qwen 在 safety-reinforced 下仍为 0.39）；stress 模式相对 normal 只小幅改变 divergence（Qwen 0.52→0.66，Gemma 略降），作者据此认为失败是工具调用设置的内在属性，而非仅由对抗提示造成。

机制分析：拒答方向的作用

• 方向因果性只部分复现：消融 r̂ 使 Command-R（68%→33%）、Mistral（49%→33%）、Llama（71%→59%）的有害拒答率下降，但使 Qwen（78%→94%）和 Gemma（66%→100%）上升；按自然幅度添加方向使 Qwen（0%→33%）和 Llama（1%→24%）对良性提示词过度拒答，对 Mistral、Gemma 无影响，Command-R 半数输出退化（Table 3、Table 7）。
• 工具上下文压制信号：有害三元组上，no-tool 到 tool-enabled 的平均拒答激活在五个模型中四个下降（Qwen t=5.6、Mistral t=5.1、Command-R t=9.7、Gemma t=4.0；Llama t=0.4 无变化，n=96，Table 3）；文本方向与工具方向在 Qwen、Mistral、Gemma 对齐（cosine 0.74–0.80），在 Command-R（0.39）和 Llama（0.21）不对齐（Table 5）。
• 强预测、部分介导：低拒答激活预测不安全调用，AUC 0.760–0.864（Table 3）；patching 只回退 13–90% 的不安全调用，且回退多为"不再发调用"——仍在发起的调用中 80–96% 仍不安全（Table 4：Qwen 回退 24% 其中经安全调用 9%，Gemma 回退 90% 其中经安全调用仅 3%）。作者称该方向是"模型是否行动"的部分介导者，不是迁移失败的完整解释。

Steering 扫描

• 测了什么：沿 r̂ 按系数网格做 activation addition，记录有害侧 unsafe 率与良性侧调用率、过度拒答（Table 9、Figure 3）。
• 结果：Qwen 在最大 coherent 系数（c=450）下 unsafe 率 0.54→0.24、良性调用 0.66→0.48；Mistral 与 Llama 几乎消除不安全调用的系数同时移除 87–90% 良性调用；Gemma 最大 coherent 系数使 unsafe 0.12→0.04 但移除 82% 良性调用。小系数代价较低（Mistral c=5：0.27→0.17 且良性调用不变；Command-R c=49：0.12→0.04 但良性过度拒答 0.03→0.18）。
• 作者解读：未找到既能几乎消除不安全调用又不造成良性调用或连贯性损失的系数，作者称沿拒答方向 steering 是粗糙的安全控制杆。

其他消融与分析

• 工具调用上的消融（Table 8，n=200）：移除 r̂ 使各模型调用率双向移动约 5–22 个百分点；消融后仍发起的调用中 64–78% 不安全（消融前 61–89%）；Gemma 消融后输出退化，作者注明其行是能力崩塌而非安全收益。
• 方向对照（Table 6，n=240）：KL 容许性检查（阈值 <0.1）下，generic 协议上 Command-R 通过（0.04）、Llama 11/41 层通过，Mistral 与 Gemma 无候选层通过；random 方向消融基本不改变拒答率。
• 跨表汇总：作者称在消融、patching、steering 三类干预中，只要模型仍在超过十分之一的提示词上发起调用，仍发起调用中的不安全率就保持在 50% 以上。
• 负面结果：Llama 的拒答激活在工具上下文无下降（t=0.4）；Command-R 与 Llama 的工具方向相对文本方向发生旋转；patching 在四个模型中只回退少数不安全调用。

作者指出的局限与后续方向

• 干预精度（§7 Future Work）：沿单一拒答方向 steering 会连带抑制良性工具使用（Mistral、Gemma、Llama 在最大 coherent 系数下移除 82–90% 良性调用，Table 9）；作者提出干预应只在不安全调用可能发生时施加，并作用于拒答信号被读出的层和 token 位置，目标是降低调用中的不安全率而非调用率——所试三种干预都未在模型仍于超过十分之一提示词上发起调用时把该比率降到 50% 以下。
• 方向选择的容许性（§7）：方向选择需要 Arditi et al. (2024) 的 KL 容许性检查，Mistral 和 Gemma 在深度带内无候选层通过（Table 6）。
• 更难的环境（§7）：作者称未来评测应执行调用而非只生成调用、扩展到多步交互以跨序列捕获危害，并通过工具返回内容施加压力（间接注入场景，当前设置无法产生）。
• 归因限制（§5）：设计把工具可用性与工具导向的提示词措辞一起变化，作者称无法把剩余失败归因于工具可供性本身，只能得出"恢复这一个信号不足以作为控制机制"。
• 未恢复部分的解释（§5）：作者称未恢复部分可能反映一维干预不完整（拒答可能分布在更多方向、层或 token 位置）或非线性分布式机制。

实验覆盖范围

• 被测模型为五个开源 instruction-tuned 模型：Qwen3-14B、Mistral-7B-Instruct-v0.3、Llama-3.1-70B-Instruct、c4ai-command-r7b、Gemma-3-27B-it，均 bf16 推理。
• 基准为作者自建 2304 条提示词，覆盖 Finance、Healthcare、Education、Legal 四个领域；行为主结果在每模型 384 个 matched 有害三元组上计算。
• 智能体设定为 minimal harness：模型只生成单次工具调用，不执行调用，无规划、记忆或编排模块；压力仅通过用户提示词施加（§7 明确说当前设置无法产生工具返回内容中的间接注入）。
• 拒答分类用 Claude Opus 5，与 Claude Fable 5 在 538 条样本上一致率 97.4%（κ=0.94）；工具调用安全由确定性谓词判定，良性运行上误触发率 1.4–3.4%。
• 机制实验样本量：suppression n=96、消融与添加 n=240（coherent 输出）、patching 每模型 n=300、Table 8 消融 n=200；论文未报告行为实验的重复运行次数。

一篇关于 LLM 智能体安全评测的论文，核心问题是：模型在文本中学会的拒答是否迁移到工具调用决策。

• 问题：安全对齐主要在文本上训练和评测，但工具调用智能体的危害通过行动发生；作者称此前鲜有工作检验拒答机制是否支配工具调用。
• 方法：构建 2304 条提示词的 matched-triple 基准（Finance、Healthcare、Education、Legal 四领域，同一意图分别以 no-tool chat、tool-enabled normal、tool-enabled stress 三种模式呈现），用 20 个确定性 ForbiddenAction 谓词判定调用安全，并提出只对聊天中真正拒答的三元组计数的 conditioned divergence 指标；再在每个模型残差流中提取 refusal direction 做消融、激活添加、patching 和 steering。
• 行为结果：五个开源模型文本拒答率 44–76%，但 normal 模式下 conditioned divergence 为 0.098（Command-R）至 0.519（Qwen），stress 模式 0.098–0.657（Table 1）；作者称该差距不随模型规模变化，safety-reinforced 系统提示词降低但不消除它（Table 2）。
• 机制结果：工具上下文使五个模型中四个的拒答方向激活下降（Llama 无变化）；低激活预测不安全调用，AUC 0.76–0.86；但 patching 恢复信号只回退 13–90% 的不安全调用，且多以不发调用方式回退，仍发起的调用中 80–96% 仍不安全（Table 3、Table 4）。
• 干预代价：几乎消除不安全调用的 steering 系数同时移除 82–90% 良性调用或使输出退化（Table 9），作者称该方向是"是否行动"的部分介导者，作为监控信号有用、作为控制杆则粗糙。
• 作者结论：仅在文本设置中做安全评测会高估工具调用智能体的安全性，进入受监管高风险环境的智能体除文本外还应在工具调用层面被直接评测。