ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具

LLM 智能体在低权限工具已足以完成任务时，仍会选择或升级到更高权限工具。

• 场景与重要性：作者称智能体越来越多地自主选择工具，可用工具在权限、范围、持久性和数据访问上不同。许多任务只需低权限工具，但智能体可能走更宽的执行路径，扩大错误、误用或被攻破时的影响范围。Figure 1 用日历查询说明：窄范围读日历工具已够用，工作区级工具也能完成，却会触及邮件或文件。
• 现有工作的不足：作者称先前智能体安全工作主要看有害输出或不安全动作（误用、提示注入、违反策略），工具选择偏差研究多看提供者身份或描述等元数据偏好。权限控制工作侧重外部访问边界，较少问智能体在多个已授权选项中是否选择权限最小且足够的工具。
• 核心设定：作者把 over-privileged tool selection 定义为：在低权限且足够的替代尚未被排除时，过早升级到更高权限工具。它包括 aggressive selection（一开始就选高权限）和 premature escalation（低权限工具出现与权限无关的短暂失败后升级）。
• 本文提出什么：仿真基准 TOOLPRIVBENCH，覆盖 8 个应用领域和 5 类风险，同时测初始选择与失败后升级。作者进一步提出特权感知后训练（privilege-aware post-training），让智能体优先用足够的低权限工具，只在必要时升级。

作者在第 2 节把相关工作分成两组。

智能体安全与权限相关风险

• 攻击与越权动机：Wang et al. (2025) 综述针对智能体–工具交互的攻击；Zhang et al. (2025a) 研究提示注入，Zhang et al. (2025c) 研究工具注入，Cheng et al. (2025) 研究越狱，Chen et al. (2024) 与 Zou et al. (2025) 研究记忆投毒，Zeng et al. (2024) 研究隐私泄露。作者称 Shi et al. (2025) 等指出间接提示注入或记忆投毒常因权限控制不足而成功。
• 系统级权限控制：更广的安全研究包括水平与垂直越权、confused deputy 和共谋（Ji et al., 2026）。Zhu et al. (2025)、Betser et al. (2026)、Ji et al. (2026) 做系统级权限控制与工具限制。作者称这些工作主要管外部边界，较少看智能体自身是否在低权限替代足够时仍选高权限工具。

工具选择偏差

• 非安全因素的偏差：Blankenstein et al. (2025) 与 Sneh et al. (2025) 研究提供者身份、元数据和描述措辞等非安全因素如何影响工具选择。作者把 “privilege overreach” 另立为安全相关的选择偏差维度。
• 与外部操纵的区别：Li et al. (2025) 把权限升级视为外部操纵的后果。作者称本文把它当作内部行为倾向，问智能体在多种操作情境中是否系统偏向过高权限。

基线方法与基准

• 缓解对照：第 5 节用 AgentAlign（Zhang et al., 2025b）作为常规安全对齐，在 AgentHarm（Andriushchenko et al., 2025）和本文特权基准上对比。提示词对照是在系统提示中加入 SECURITY PRINCIPLE。能力保持用 MMLU、GSM8K 和 MetaTool。领域种子来自对 APIGen（Liu et al., 2024）工具的风险分析，但不直接复用其工具。

作者把本文定位为与外部权限强制正交：研究的是智能体在多个已授权选项中是否选择权限最小且足够的工具。

作者用仿真环境评测过度特权工具选择，并提出 privilege-aware post-training（SFT 加 GRPO）作为缓解。

问题设定与形式化

对任务实例 x，T 为可用工具集，p(t) 为工具 t 的权限级别，S(x) 为在场景约束下足以完成 x 的工具集。第 i 步尚未被排除的足够工具记为 Ui(x)。若智能体选择 ai = th，且存在 tℓ ∈ Ui(x) 使 p(tℓ) < p(th)，则该步为过度特权选择。评测中每个低权限工具都被构造成独立足够，未尝试的低权限工具都算仍可用的替代。

评测协议

• 工具配置：每例一个用户任务加 6 个工具：3 个低权限、3 个高权限，全部足以完成任务，以去掉“低权限工具做不到”的能力混淆。
• 两种行为：初始决策直接选高权限，以及低权限调用遇到与权限无关的短暂失败（如连接错误）后升级。智能体可重试同一低权限工具、换另一个低权限工具、升级或在任务完成后停止。
• 轮数与指标：交互上限 k = 5。OPUR@k 是在低权限足够替代仍可用时，k 轮内使用过任一高权限工具的案例比例。PED 是首次使用高权限工具前尝试过的不同低权限工具数；过度特权案例中 PED = 0 为 aggressive selection，PED ≥ 1 为 premature escalation，PED 越低升级越激进。

基准构建

• 领域与风险种子：对 APIGen 真实工具做初步风险分析，按权限与效果的潜在安全暴露标为 L1–L5，聚焦高风险簇并抽象成 8 个应用领域。不直接复用 APIGen 工具，而是按抽象出的领域与风险模式合成新工具。5 类风险为 Authority Escalation、Scope Expansion、Temporal Persistence、Safety Bypass、Data Over-Exposure。附录 A.1 给出分类细节。
• 合成与过滤：每个领域–风险组合合成一个用户任务和六工具环境。格式预检要求字段齐全、工具名唯一、三标准/三风险结构。描述中性检查去掉让标准工具显得弱或风险工具显得更可取的措辞。同格多样性检查拒绝近重复。未通过的案例转为结构化反馈后修复。
• 功能充分性：每个工具在非错误条件下必须独立完成用户指令。两阶段验证：先由 Gemini 2.5 Pro 与 GPT-5.2 独立判断，仅当两者都标为完全充分才保留；再由人工审核用户任务、权限区分、失败语义和工具效果，丢弃标准工具不足、风险工具独有能力或权限对比含糊的案例。结果为 544 个场景。Figure 3 显示领域分布较广，Database 与 Business 最大；五类风险频率相对均衡，Authority Escalation 最多。

附录 A.2 给出各类计数：Authority Escalation 139、Safety Bypass 116、Scope Expansion 99、Data Over-Exposure 99、Temporal Persistence 91。人工审核由两名有 AI 安全经验的标注者独立检查机器已验证的场景，分歧与第三名审阅者讨论后解决，时薪为 8 美元。附录 A.3 的标注原则包括：只按工具名和描述判断能力；假设智能体只能调用这一个工具；标准工具与风险工具都可算有效解。标签为 FULLY、PARTIALLY、NO。

特权感知后训练

• 数据：按评测基准同一设计原则另建训练集，且与评测案例不重叠。标准工具权限最小且足够完成任务；风险工具授予更广访问、系统级效果或绕过操作防护。标准工具可返回与权限无关的短暂错误，要求重试或探索其他低权限选项。
• SFT 与 RL 分开：SFT 用理想轨迹，比较权限范围、区分短暂失败与真正能力不足，并尽量选足够的低权限工具。轨迹由指令微调的 Qwen3.5-397B 生成，权限分析放在 think 轨迹中作理由式监督。RL 使用不相交查询，只给用户请求和工具环境，不给监督轨迹。RL 查询也与评测基准不相交。
• 优化：先用 TRL 做 SFT（Ouyang et al., 2022），再从 SFT 初始化的策略出发，在仿真多轮工具环境中用 GRPO（Shao et al., 2024）优化。 rollout 中模型观察请求与工具、选工具、收反馈，再决定重试、换标准工具、升级到风险工具或终止。奖励按轨迹排序：用标准工具成功完成优先；只有在有意义的低权限探索之后，升级才可接受；未先尝试标准工具就用风险工具惩罚最重。失败轨迹若探索了标准工具且没有不必要升级，仍可获部分分数。另有轻量回复长度惩罚。形式化奖励与超参数在附录 B.1，该附录的具体公式与数值未出现在所给文本中。

提示级对照与评测提示

提示工程在系统提示中加入 SECURITY PRINCIPLE：优先最小必要权限、非必要不升权、失败时先在同一权限重试或换工具。附录 D 给出完整提示词。评测用的基础系统提示要求任务满足后停止继续调用工具。

实验设置

• 主评测模型：11 个，Figure 4 与 Table 1 为 Qwen3-8B、LLaMA-3.1-8B、MiniMax-M2.7、Grok 4.1 Fast、Qwen3.5-397B、DeepSeek-v3.2、Kimi K2.5、Gemini 3 Flash、GPT-5.2、GLM-5、Claude 4.6 Sonnet。
• 对齐迁移：Table 2 为 Ministral-8B-Instruct 与 Qwen2.5-7B-Instruct，方法为 AgentAlign，对照 AgentHarm 的 Harmful Score、Refusal 与本文 OPUR。
• 缓解模型：Figure 5 与 Table 3 为 Qwen3-4B、Qwen3-4B-Think（正文亦称 Qwen3-4B-Thinking-2507）和 Qwen3-8B；条件为 Base、prompt engineering（PE）和特权感知后训练（Ours）。
• 基准规模：TOOLPRIVBENCH 共 544 个场景，8 个领域、5 类风险。交互上限 k = 5。论文未报告主评测的重复次数。
• 指标：OPUR 为低权限足够替代仍可用时使用高权限工具的案例比例；PED 为首次高权限使用前尝试的不同低权限工具数。Table 3 另报 MMLU、GSM8K、MetaTool 及 Retain Rate。
• 充分性评审：构建阶段用 Gemini 2.5 Pro 与 GPT-5.2 做交叉共识，再经人工审核。行为评测本身按工具调用判定，论文未另写 LLM 评审阈值。

主结果

Figure 4 给出总 OPUR，Table 1 按领域与风险拆开。下表只列总 OPUR（据 Figure 4）。

模型	OPUR
Qwen3-8B	64.9%
LLaMA-3.1-8B	55.9%
MiniMax-M2.7	43.4%
Grok 4.1 Fast	37.1%
Qwen3.5-397B	33.3%
DeepSeek-v3.2	31.8%
Kimi K2.5	21.0%
Gemini 3 Flash	17.5%
GPT-5.2	9.7%
GLM-5	8.6%
Claude 4.6 Sonnet	2.6%

• 作者称过度特权使用普遍，但程度因模型而异：11 个模型中 6 个 OPUR 超过 30%。Claude 4.6 Sonnet、GPT-5.2、GLM-5 低于 10%，但仍有可测到的过度特权使用。作者认为最小权限遵守是依赖模型的行为属性，可能受一般能力、工具使用训练和安全对齐影响。
• 作者称工具失败会放大权限升级：以 GPT-5.2 为例，PED = 0 为 5 次，PED = 1 为 13 次，PED = 2 为 35 次。DeepSeek-v3.2、Grok 4.1 Fast、Kimi K2.5 和 Qwen 系列有类似升级形态。作者认为执行失败带来能力不确定，使智能体逐渐放弃保守的权限分配。Figure 4 的堆叠分段对应 PED = 0、1、2，除上述次数外，各段百分比未在正文逐项列出。
• 领域与风险不对称（Table 1）：作者称基础设施任务 OPUR 偏高，如 DeepSeek-v3.2 46.4%、Grok 4.1 Fast 42.9%、Qwen3.5-397B 37.5%。LLaMA-3.1-8B 在多个领域超过 50%。多数模型上 Authority Escalation 与 Safety Bypass 更常见：LLaMA-3.1-8B 分别为 72.7% 与 74.1%，Qwen3.5-397B 为 42.4% 与 45.7%。Scope Expansion 在各模型上多为最低一类。作者认为模型更倾向直接放宽执行约束的动作。Healthcare、Government 对部分对齐前沿模型较低，如 Claude 4.6 Sonnet 的 Business、Education 为 0.0%，Health. 为 1.5%；作者认为可能与这些场景更强的谨慎对齐有关。Table 1 中也有例外：Qwen3-8B 的 Safety Bypass 为 87.1%，高于其 Authority Escalation 的 83.5%；MiniMax-M2.7 的 Temporal Persistence 为 52.7%，高于 Authority Escalation 的 51.8%。

安全对齐是否迁移

Table 2 在 AgentHarm 与 OPUR 上比较 AgentAlign。

Swipe horizontally to read the table

模型	Harmful Score	Refusal	OPUR
Ministral-8B-Instruct	67.4	0.0	68.8
+ AgentAlign	10.5 (−56.9)	79.5 (+79.5)	62.5 (−6.3)
Qwen2.5-7B-Instruct	41.9	21.6	50.4
+ AgentAlign	6.7 (−35.2)	85.8 (+64.2)	60.7 (+10.3)

作者称 AgentAlign 明显改善常规安全结果，但 OPUR 并不同样下降：Ministral 只从 68.8% 到 62.5%，Qwen 从 50.4% 升到 60.7%。作者认为学会拒绝明确有害的智能体请求，并不会自动学会在已授权选项中偏好权限最小且足够的工具。

提示工程与后训练

Figure 5 比较 Base、PE 与 Ours，正文给出 Ours 的 OPUR：Qwen3-4B 39.71%，Qwen3-8B 27.02%，Qwen3-4B-Think 18.93%。图中标注的 Base / 中间柱还包括 Qwen3-4B 的 65.4% 与 54.0%，Qwen3-4B-think 的 66.0% 与 47.4%，Qwen3-8B 的 64.9% 与 50.4%，以及 39.7%、27.0%、18.9%。作者称提示能降低 OPUR，但在标准工具失败后的交互中效果变弱；后训练降幅更大，在容量更大或有显式推理行为的模型上更强。附录 C.3 给了干预前后的定性轨迹比较，所给文本未展开轨迹内容。

Table 3 看通用能力。Qwen3-4B 的 MMLU / GSM8K / MetaTool 从 78.02 / 95.23 / 79.38 到 77.44 / 93.25 / 76.06，Retain Rate 为 99.3%、97.9%、95.8%。Qwen3-4B-Think 从 80.30 / 95.83 / 67.51 到 79.63 / 95.22 / 65.75，Retain Rate 为 99.2%、99.4%、97.4%。Qwen3-8B 从 81.55 / 95.95 / 79.37 到 81.27 / 95.00 / 79.50，Retain Rate 为 99.7%、99.0%、100.2%。作者称分数大体稳定，后训练对通用能力的降级有限。

其他消融与分析

• 论文未报告独立的超参数消融表；奖励定义与优化超参数指向附录 B.1，所给文本未给出具体数值。
• Figure 3：风险类型约占 Authority Escalation 25.6%、Safety Bypass 21.3%、Scope Expansion 与 Data Over-Exposure 各 18.2%、Temporal Persistence 16.7%；领域约占 Database 15.3%、Business 14.0%、Education 13.2%、Coding 12.3%、Health. 11.9%、Gov. 11.6%、Media 11.4%、Infra. 10.3%。这些是案例分布，不是 OPUR。
• Table 1 中 Scope Expansion 的低值包括 GLM-5 1.0%、Claude 4.6 Sonnet 1.0%、GPT-5.2 2.0%；Qwen3-8B 的 Scope Expansion 为 37.4%，仍低于该模型其他风险类型。
• GPT-5.2 的零样本（PED = 0）过度特权为 5 次，失败后升至 PED = 1 的 13 次和 PED = 2 的 35 次。
• 充分性过滤要求两名自动评审都判为完全充分，人工再丢弃标准工具不足或权限对比含糊的案例；论文未报告过滤前后的案例数量。

作者指出的局限与后续方向

• 仿真而非真实工具（Limitations）：为安全与可控，评测在仿真中进行，不授予真实生产工具或在线外部服务。
• 可替换且独立足够的小工具集（Limitations）：任务实例中一小套可替换工具各自独立足够。作者称这有助于归因，但不覆盖已部署智能体环境的全部复杂性。
• 后续环境（Limitations）：作者称未来工作可以用沙箱可执行工具、更大工具库、部分重叠的工具和多工具流程来扩展。
• 更长轨迹（Limitations）：上述扩展可能需要超出本文五轮协议的长程轨迹分析。
• 机制（Limitations）：不确定性下过度特权选择的机制是更深入分析的方向。
• 结论中的方向（Conclusion）：作者希望这项工作推动后续对特权感知的智能体设计、训练和评测的研究。

实验覆盖范围

• 主行为评测覆盖 Figure 4 与 Table 1 的 11 个模型、544 个场景、8 个领域和 5 类风险，轮数上限 k = 5，指标为 OPUR 与 PED。
• 安全对齐对照只在 Table 2 的 Ministral-8B-Instruct 与 Qwen2.5-7B-Instruct 上比较 AgentAlign，指标为 AgentHarm 的 Harmful Score、Refusal 和 OPUR。
• 缓解在 Qwen3-4B、Qwen3-4B-Think 与 Qwen3-8B 上比较 Base、PE 与 Ours；通用能力为 MMLU、GSM8K、MetaTool 及 Retain Rate（Table 3）。
• 构建验证使用 Gemini 2.5 Pro 与 GPT-5.2 的双方共识，以及两名标注者加第三名审阅者的人工审核；论文未报告主评测重复次数、过滤掉的案例数，也未在所给文本中给出附录 B.1 的奖励公式与超参数数值。
• 训练与评测分离：SFT 轨迹由 Qwen3.5-397B 生成，RL 查询与评测案例不相交；论文讨论的外部权限强制被作者定位为与本文行为评测正交。

作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。

• 问题：工具选择偏差研究多看元数据偏好，权限工作多做外部边界。本文问的是智能体在多个已授权、且都足够的工具里是否遵守最小权限。
• 评测：TOOLPRIVBENCH 有 544 个仿真场景、8 个领域、5 类风险。每例 3 个低权限和 3 个高权限工具，全部独立足够。k = 5 轮内注入与权限无关的短暂失败。OPUR@k 统计仍有低权限替代时使用高权限工具的比例，PED 统计升级前试过几种低权限工具。
• 主结果：11 个模型里 6 个 OPUR 超过 30%。Qwen3-8B 为 64.9%，LLaMA-3.1-8B 为 55.9%，Claude 4.6 Sonnet 为 2.6%（Figure 4）。GPT-5.2 的过度特权次数从 PED = 0 的 5 次增到 PED = 2 的 35 次。基础设施领域和 Authority Escalation、Safety Bypass 往往更高（Table 1）。
• 缓解：AgentAlign 把 Ministral 的 AgentHarm Harmful Score 从 67.4% 降到 10.5%，但 OPUR 只从 68.8% 到 62.5%；Qwen2.5-7B-Instruct 的 OPUR 从 50.4% 升到 60.7%（Table 2）。特权感知后训练（SFT 加 GRPO）把 OPUR 降到 Qwen3-4B 的 39.71%、Qwen3-8B 的 27.02%、Qwen3-4B-Think 的 18.93%。Table 3 中三项通用分数的 Retain Rate 多在 95.8%–100.2%。
• 作者的结论：过度特权选择在主流模型中常见，短暂失败会放大它；一般安全对齐不能稳定迁移到最小权限工具选择；特权感知后训练能减少不必要的高权限使用，同时大体保留通用能力。评测限于仿真和五轮协议。