OverAct：衡量并缓解 LLM 工具调用智能体的主动越权取数

结构化工具调用智能体可能调用用户字面请求并不严格需要、却会接触私人数据的 API，作者将此称为 proactive over-authorization。

• 场景：用户用自然语言提出请求，智能体自主决定调用哪些 API。作者以银行查余额、医疗查预约为例，认为多取的交易、储蓄、用药或诊断信息并不为字面请求所必需，并与数据最小化原则形成张力。
• 现有缺口：作者称智能体安全基准多关注越狱、提示注入和恶意滥用；工具调用基准多测任务成功与调用正确性，不惩罚超出最小充分集的检索。并发的 OverEager-Gen 研究文件系统级 coding agent 在良性任务上的越界动作，作者称与本文互补。
• 解释性假设：若遗漏必要工具的成本高于多余调用，有效纳入阈值会偏低，语义相近但非必要的工具更易被选中。作者据此组织三个定性预测，并说明这不是已验证的内部因果机制。
• 三种范围：benchmark-authorized scope 是保守政策下由字面措辞蕴含的工具集；user-preferred scope 是用户实际想要的；deployment-safe scope 是生产策略或合规所允许的。经验主张只锚定第一种。作者不声称基准超额总对应用户不偏好或部署伤害。
• 本文做法：在 privacy-first 的字面准则下定义该行为，发布 OVERACT（720 个 episode、八个隐私敏感领域、无 LLM 评审的确定性评分），并比较提示词干预与不依赖 oracle 最小集的 SELFAUDIT。

工具调用智能体与评测

• 代表框架：Toolformer（Schick 等，2023）、ReAct（Yao 等，2023）和 ToolLLM（Qin 等，2024）把 LLM 用作可调用工具的智能体。相关综述包括 Xi 等（2025）、Wang 等（2024）和 Qin 等（2025）。
• 正确性基准：AgentBench（Liu 等，2024）、BFCL（Patil 等，2025）、GAIA（Mialon 等，2024）和 ToolTalk（Farn and Shin，2023）主要评任务成功或工具使用正确性。作者明确对比：这些工作多问某次调用是否需要，本文问最小充分集之外还调用了哪些工具。
• 多余或低成本工具使用：Xu 等（2025）用训练时奖励塑造提高调用效率；Zeng 等（2026）研究智能体偏好外部工具而非内部知识。Lyu 等（2026a，2026b）与 Zhang 等（2025）分别涉及小模型智能体能力和多智能体协作下的工具选择，论文只作相关描述。

智能体安全、隐私与系统约束

• 对抗性失败：越狱（Wei 等，2023）、提示注入（Zhan 等，2024）、恶意滥用（Ye 等，2024），以及 Agent-SafetyBench、ToolEmu、R-Judge 和 AgentHarm。作者称这类工作主要面向灾难性或对抗性失败。
• 隐私相关处理：训练数据抽取（Carlini 等，2021）、数据最小化（Goldsteen 等，2022）、文本脱敏（Chen 等，2023；Awon 等，2025）和生成模型可信度综述（Fan 等，2025）。Zhang 等（2026）研究多智能体对瞬时失败的韧性，作者称与范围膨胀互补。
• 预先给定边界的系统机制：Progent（Shi 等，2025）、提示流完整性检查（Kim 等，2025）和形式化访问控制（Li 等，2025）假设已有权限边界，并在系统层执行。作者对比：OVERACT 是诊断性的，测量没有外部约束时的膨胀倾向。并发的 OverEager-Gen（Qu 等，2026）测文件系统上的越界动作；本文测访问私人数据的结构化 API，并给出基准最小范围、成本不对称解释和无 oracle 缓解。

对齐动态

• 偏好优化：RLHF（Christiano 等，2017；Stiennon 等，2020；Ouyang 等，2022）、DPO（Rafailov 等，2023）及 Bai 等（2022）。
• 非预期行为：sycophancy（Sharma 等，2024；Shapira 等，2026）、奖励篡改（Denison 等，2024）及其他错位行为（Perez 等，2023）；奖励误设与 Goodhart 效应见 Pan 等（2022）、Gao 等（2023）。作者把该现象看作经由工具选择表达的动作层过度帮助，并用轻量决策账户组织经验规律，而不是声称已验证因果机制。

基线与基准

• 基线方法：Baseline，以及 Permission List、Explicit Scope、Minimization、Intent Echo、Clarification。作者把精确 Permission List 当作需要 oracle 的上界。缓解比较还包括单句删除指令和 SELFAUDIT 的消融变体。
• 基准：主结果在自建 OVERACT 上报告，不在 BFCL 或 GAIA 上报告。

作者将本文定位为互补问题：不是智能体能否用对工具，而是工具会暴露私人数据时，它能否避免看似合理但非必要的调用。

作者用一个解释性决策账户组织工具选择，用 OVERACT 按字面最小集做无评审测量，再用 SELFAUDIT 在执行前删掉不能由用户明确用词支持的调用。

问题设定与授权范围

• 选择问题：请求为 R，工具池为 T，语境为 C。智能体选出实际调用集 Aactual。Figure 1 是该决策视图的示意图，不是实验结果。
• 最小集：Authorized Action Scope（AAS）是满足请求的最小工具集。若多个集基数相同，取触及个人可识别信息（PII）类别更少者。超额集为 Aexcess = Aactual 去掉 Aminimal。规则见附录 B.2：只承认字面直接蕴含的调用；预期需求、语境上有帮助的扩展和常识补充都算超额；含糊时取更小的集。
• 三种范围不互换：经验数字只相对 benchmark-authorized scope。用户偏好范围和部署安全范围只作语境。

成本不对称与三个预测

• 阈值：每个工具有隐式相关度 θi，即它属于最小集的估计概率。遗漏成本为 c-，多余调用成本为 c+。在独立、校准且成本均匀的假设下，Bayes 最优策略在 θi 高于阈值时调用，阈值为 τ=1/(1+r), r=c₋/c₊。推导在附录 A。作者说明独立性只是近似：选择可以是自回归的，但许多接口会先收集工具计划再执行。
• 预期超额：非最小工具有 n-k 个时，预期超额个数为 (n-k) 乘以相关度在阈值处的生存函数。作者称阈值附近中等相关度的工具越多，超额对阈值越敏感。
• 三个被检验的预测：Prediction 1 的阈值用来引出后三条，作者把它们称为解释性假设。请求越具体，预期超额越少；相关度随排名衰减时，超额随工具池次线性增长，在观察到的区间近似对数；若阈值主要由模型参数而非采样噪声决定，则解码温度下超额应大致稳定。

指标与 OVERACT 协议

• 主指标：范围膨胀比为 SIR=|A_actual|/|A_minimal|。SIR=1.0 只表示调用个数相同，仍可能漏掉必需工具并换入无关工具，所以要与任务完成率 TCR 同读。TCR 是最小集的召回，不检查参数、执行是否成功，或返回信息是否满足请求。PVS 把超额调用触及的 PII 类别数相加，跨调用的重复类别分开计。
• 数据：八个领域为 banking、healthcare、e-commerce、email/calendar、HR systems、smart home、travel booking、social media。每域恰好 6 个带参数 schema 和 PII 标注的工具，共 48 个。每域、每档具体性 30 个 episode，precise、moderate、vague 三档，共 720 个。该操作直接对应具体性预测。
• 标注：两名标注者独立标注原始 240 个 episode，共识前 Cohen's κ=0.91；22 处分歧（9.2%）经讨论解决，多为中等具体性的边界。再释义扩展到 720，并保持各自的最小工具集。工具呈现顺序每个 episode 随机，作者称位置效应可忽略。全部分数来自集合运算，不用 LLM 评审。

提示词干预与 SELFAUDIT

• 五项干预：Permission List 只允许列出的工具，需要精确最小集；Explicit Scope 要求只做明确请求的动作；Minimization 要求最少数据；Intent Echo 先复述意图再行动；Clarification 在工具选择含糊时先提一个问题。基准在智能体只提问、不调用时记为没有工具调用。完整模板在附录 C.1。
• SELFAUDIT：零样本、推理时、不使用 oracle 最小集。Figure 6：先为计划中的每次调用生成与请求字面绑定的理由，再删除不能由明确用词支持的调用，然后只执行保留项。附录 C.1 给出完整提示词。作者把显式删除和结构化理由分成可消融的两步。

实验设置

• 模型：Qwen3.6-Flash、Qwen3.6-Plus、Qwen3.7-Max、DeepSeek-v3、DeepSeek-v4-Pro、GLM-5.2、Kimi-K2.7-Code。同一工具 schema 与提示模板。
• 基准：OVERACT，720 个 episode；八域各 6 工具、共 48 个；三档具体性各 30 个/域。原始 240 个双人标注，κ=0.91，释义扩展时保持最小集。
• 条件：Baseline 加五种提示词干预；温度 0.0、0.7、1.0；工具池 4、6、12、24、36、48。附录 D.2 用 Qwen3.6-Plus 与 DeepSeek-v4-Pro、中等和模糊请求、池 10/15/20 及扩展 schema。
• 指标：SIR 为调用个数之比；TCR 为最小集召回，不检查参数、执行成功或返回内容；PVS 为超额调用的 PII 类别数之和，重复类别跨调用分开计。
• 规模与解码：每配置 3 次重复，工具顺序随机。除温度消融外 temperature=0.7，其余采样参数用提供者默认值。核心运行 90,720 次（7×6 条件×720×3），其中 baseline 15,120 次。作者称补充运行约 39,000 次，合计约 130,000 次。官方 API，2026 年 6–8 月；支持时先收集完整工具计划再执行。
• 判定：自动分数是集合运算，无 LLM 评审。人工评估不进入自动分数。

主结果

下表 SIR 与 95% CI 来自 Table 1；TCR、PVS 来自 Tables 7–8 的 Baseline 行。均为全具体性、全领域、三次重复的平均。

表格较宽，可左右滑动

模型	SIR	95% CI	TCR	PVS
Qwen3.6-Flash	1.50	[1.45, 1.55]	0.95	0.94
Qwen3.6-Plus	1.65	[1.59, 1.71]	0.97	1.15
Qwen3.7-Max	1.74	[1.67, 1.80]	0.96	1.37
DeepSeek-v3	1.18	[1.13, 1.23]	0.80	0.60
DeepSeek-v4-Pro	2.39	[2.31, 2.47]	0.96	2.40
GLM-5.2	1.96	[1.89, 2.03]	0.98	1.65
Kimi-K2.7-Code	1.65	[1.58, 1.71]	0.90	1.26

• 作者报告七个模型的单侧 Wilcoxon signed-rank 检验（H1: SIR>1）均为 p<0.001，且没有模型的 baseline 平均 SIR≤1.0。
• 作者称绝对量约 0.7 次超额调用/episode。SIR 最低的 DeepSeek-v3 同时 TCR 最低，作者认为这是少调用，而不是有选择地限制范围；TCR 最高的 GLM-5.2 同时处于较高 SIR，作者称符合遗漏与多余调用的权衡。
• Table 1 的区间是各模型 baseline 均值的 95% CI，不是跨模型的总区间。

具体性、工具池与温度

• 具体性：同一 episode 的三档释义共享最小工具集。Figure 2 列出的七模型中，精确请求 SIR 为 0.99–1.17，中等为 1.05–1.92，模糊为 1.49–4.09；其中 DeepSeek-v3 精确请求为 0.99，模糊请求最高为 DeepSeek-v4-Pro 的 4.09。作者称精确请求接近合规，中等歧义已带来膨胀，模糊请求产生 2.7× scope excess（d=1.19）。作者称所有两两对比均显著，论文未给出该检验名称或 p 值。
• 工具池：查询固定，池大小为 4、6、12、24、36、48。作者称 SIR 从 4 到 24 次线性上升，随后在 36–48 进入平台；正文给出池 36 为 2.00、池 24 为 1.97。Figure 3 图例含 Mean (all models)、Qwen3.6-Flash、Qwen3.6-Plus；其余池大小的具体读数正文未列出。
• 温度：同一 episode 在 0.0、0.7、1.0 下比较。作者报告三档 SIR 统计上不可区分（p=0.367），未说明检验名称，也未报告各温度的 SIR。作者认为超额更多取决于模型与输入，而不是解码随机性。

提示词干预

Table 2 为七模型、全部 episode 的聚合。

表格较宽，可左右滑动

干预	SIR	TCR	需 oracle
Permission List	0.96	0.95	是
Explicit Scope	1.42	0.89	否
Minimization	1.18	0.86	否
Intent Echo	1.74	0.96	否
Clarification	1.09	0.74	否

• 作者称约束动作空间比复述或收窄请求更有效；在这五项中，只有精确权限列表同时降低 SIR 并保持 TCR。它需要最小集的 oracle，作者将其视为外部权限控制的上界。
• 作者称 Clarification 在非 oracle 干预中 SIR 最低，但提问会被记成未调用，因而 TCR 惩罚大；在可继续对话的场景中，它可能比该 TCR 所显示的更有竞争力。作者称 Intent Echo 不降低超额，并可能略加重。Tables 7–8 方向不一致：DeepSeek-v3 的 SIR 从 1.18 升至 1.65，DeepSeek-v4-Pro 从 2.39 降至 2.18，GLM-5.2 从 1.96 降至 1.80。
• Figure 5 标注 slope=+0.41 SIR/tool。作者称模型会大致按额外允许的工具数利用松弛，TCR 几乎不变；有效控制需要精确最小集，而不是更宽的超集。正文未列出每个允许工具数对应的 SIR。

SELFAUDIT

• 设置：不提供 oracle 最小集。模型先为计划调用生成与请求字面绑定的理由，再删除不能由明确用词支持的调用。Table 3 的消融限于中等与模糊 episode，以及 Qwen3.6-Plus、Qwen3.7-Max、DeepSeek-v4-Pro、Kimi-K2.7-Code。作者称 GLM-5.2 为与初期试点一致而未进入该子集；DeepSeek-v3、Qwen3.6-Flash 分别因 baseline 膨胀低、多步指令遵循不稳定而被排除。七模型结果另见 Table 11。
• 消融：Table 3 中 Baseline、Justify-Only、Filter-Only、Full 的 SIR 为 2.28、2.42、1.74、1.68，TCR 为 0.94、0.96、0.91、0.89，PVS 为 2.26、2.46、1.43、1.29。作者称只写理由使 PVS +9%，只过滤捕获大部分效果（PVS -36%）；完整流程相对只过滤进一步降低 SIR（配对 Wilcoxon p=0.005，d=0.06）。Table 10 对同一汇总给出 ΔSIR -26%、ΔTCR -5%、ΔPVS -43%（Mann-Whitney p<0.001，d=0.36）。TCR 从 0.94 降到 0.89。
• 分模型与作者解读：Table 11 中 DeepSeek-v4-Pro 的 ΔPVS 为 -57%，Qwen3.6-Flash 为 -10%（ΔSIR -5%，ΔTCR -2%）。DeepSeek-v3 的 ΔSIR、ΔTCR、ΔPVS 为 +24%、+17%、+26%；作者称结构化提示从很低的 baseline 激活了更多调用。作者认为范围下降的主因是显式删除，而不是结构化理由；并认为该方案是可调的概念验证，不是可直接部署的替换方案。附录 F.1 的单句删除指令使 SIR 降 24%。

其他消融与分析

• 人工判断（Table 5）：样本为 SIR>1.0 的 100 个 episode、340 次超额调用（均值 3.40 次/episode，不能与全体 baseline 的约 0.7 次直接对照）。Unwanted/Neutral/Wanted 为 71.2%/17.0%/11.8%；精确 n=30 为 93.3%/6.7%/0.0%，模糊 n=205 为 63.9%/20.5%/15.6%。
• 规则分类覆盖全部 baseline 超额调用：Exploratory 50%、Anticipatory 21%、Completionist 20%、Confirmatory 9%。作者称超额多为同一语义邻域内的局部扩张。
• 超额工具集的 Jaccard（Table 4）：21 对均值 0.764；代表对中 Qwen3.6-Plus/DeepSeek-v4-Pro 为 0.697，GLM-5.2/Kimi-K2.7-Code 为 0.819。作者称主要偏离点是 DeepSeek-v3，其 SIR 与 TCR 都较低。
• 分领域 baseline 均值（Table 6，全模型平均）：Smart Home 的 SIR/PVS 为 2.37/2.18，Email/Calendar 为 1.27/0.44。作者称高 SIR 领域往往有更多工具指向同一实体或语境。
• 附录 D.2：2,880 次尝试中保留 2,534 次（12.0% 因畸形或空调用丢弃）。池 10/15/20 的平均 SIR 为 3.60/4.21/4.17；15 对 10 的 p=0.020，20 对 15 的 p=0.209。
• 附录 E.2：160 个模糊 episode 上，痕迹长度与 SIR 的 Spearman ρ=0.065（p=0.41）；completionist 模式占 151/480，其 SIR 均值 3.99，非该模式为 1.07（d=2.81）。附录 F.3 的 sham 条件 SIR 为 2.69，对照 2.77（p=0.41）；工具改名后 SIR 为 2.04，对原名 2.00（p=0.68）。

作者指出的局限与后续方向

• 受控 schema：OVERACT 使用受控工具 schema，每域六个工具。作者称这便于确定性测量，但生产环境中超额的绝对幅度可能不同（Limitations）。
• 更大工具池：生态验证把池扩到 10、15 和 20，并使用更丰富的 schema；作者称更大的工具池可能引入此处未捕获的超额形式（Limitations）。
• 解释性账户：决策理论账户是事后校准的，作者称它意图作为解释性模型（Limitations）。
• PVS 等权：PVS 对所有 PII 类别一视同仁。作者称金融数据与偏好数据等后果不同，按严重性加权的指标能更好捕捉这一差别（Limitations）。
• 严格准则：基准采用严格的 privacy-first 授权准则。作者称这使评测可确定，但可能把其他部署语境中被视为有帮助的动作判为超额（Limitations）。

实验覆盖范围

• 被测模型为 Qwen3.6-Flash、Qwen3.6-Plus、Qwen3.7-Max、DeepSeek-v3、DeepSeek-v4-Pro、GLM-5.2、Kimi-K2.7-Code，共 7 个、4 个家族（§4.1）。
• 自动评测在 OVERACT 上进行：8 个领域、每域 6 个工具、720 个 episode、三档具体性；核心条件各 3 次重复，共 90,720 次核心运行（§4.1）。
• 提示词条件为 Baseline、Permission List、Explicit Scope、Minimization、Intent Echo、Clarification。工具池实验包含 4、6、12、24、36、48；附录 D.2 在两个模型上使用池 10、15、20 和扩展 schema（§4.4–§4.5，附录 D）。
• 自动分数由工具调用集合的运算得到，不使用 LLM 评审。按 §3.3，TCR 不检查参数正确性、执行成功或返回信息是否满足请求。
• SELFAUDIT 的四条件消融在四个高膨胀模型的中等与模糊 episode 上（Table 3）；七模型的分模型变化在 Table 11。人工判断覆盖 100 个 SIR>1.0 的 episode、340 次超额调用（§4.7，Table 5）。论文未报告三个温度各自的 SIR，只报告 p=0.367（§4.4）。

七个来自四个家族的工具调用模型，在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization，用 OVERACT 做无 LLM 评审的测量，并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。

• 问题：智能体自主选择 API 时，可能调用语义相关、但用户字面措辞并不蕴含的工具。作者关心的是不必要的私人数据访问；经验数字只相对基准授权范围，不自动等于用户不偏好或部署伤害。
• 方法：最小工具集按字面蕴含确定，基数相同时取 PII 类别更少者。成本不对称账户给出三个预测：请求越不具体超额越多，工具池增大时超额次线性增长，解码温度影响小。SELFAUDIT 先把计划调用绑到请求中的明确用词，再删除不能据此支持的调用。
• 测量：Table 1 中七模型 baseline SIR 为 1.18–2.39，单侧 Wilcoxon 检验 p<0.001；作者称约 0.7 次超额调用/episode。Figure 2 中模糊请求最高为 DeepSeek-v4-Pro 的 4.09，DeepSeek-v3 的精确请求为 0.99。池 36 与池 24 的 SIR 为 2.00 对 1.97。三档温度的 p=0.367，论文未给各档 SIR。
• 缓解：Table 2 中，作者称只有精确 Permission List 同时把聚合 SIR 降到 0.96 并保持 TCR 0.95，但它需要 oracle。四个高膨胀模型的中等与模糊请求上，完整 SELFAUDIT 的 PVS 从 2.26 降到 1.29（-43%），TCR 从 0.94 降到 0.89；只写理由不筛选时 PVS 升至 2.46。Table 11 中 DeepSeek-v3 的 SIR 与 PVS 上升。
• 作者结论：作者认为该行为更符合结构性决策倾向，而不是解码随机性；范围下降的主要驱动力是显式删除，而不是结构化理由本身。作者把 OVERACT 定位为诊断基准，而不是要求消除一切超额动作的处方。