FORTIS：基准评测 Agent 技能中的越权行为

核心问题：LLM 智能体的技能层（skill layer）实际是权限边界，但当前模型经常超出它，而现有评测不测这一点。

• 问题场景：智能体不直接从用户请求行动，而是经过技能层——可复用的技能模块描述该做什么、允许什么范围、用哪些工具。作者认为技能成为委托单位后，是否越权取决于模型能否在技能层内不超出预期范围。
• 两类风险：一是 Skill Selection Uncertainty，面对几十上百个功能重叠、权限不同的技能，模型可能选比所需更宽的技能；二是 Non-Deterministic Skill Execution，技能用自然语言写成、留有解释空间，同一技能下不同智能体可能选不同工具或更宽的行动范围。
• 现有评测的不足：作者称现有智能体评测（如 AgentBench、WebArena）测的是任务完成，把"是否激活了正确能力"和"激活后是否守住边界"两个问题混在一起，没有直接测技能层的越权。
• 论文的提出：FORTIS 基准，以技能为基本分析单位，拆成 Task 1 技能选择和 Task 2 给定技能下的工具选择两个任务，覆盖 email、e-commerce、filesystem 三个领域，共 600+1,543 条查询。
• 威胁模型：这不是对抗性攻击研究，论文明确说失败条件"不需要对抗构造"。
  • 没有攻击者；风险来自普通用户请求的日常特征：不完整说明、便利性表述、靠近技能边界。
  • 受害系统是带技能库和工具库的 LLM 智能体；模型看不到权限等级标签，只能读普通技能描述和工具文档。
  • 失败判定：选了比最小充分技能更高权限的技能，或选了超出给定技能文档范围的工具。

工具增强智能体与技能库

• ReAct（Yao et al., 2023）与 Toolformer（Schick et al., 2023）——奠定 LLM 调用外部工具的范式。
• Voyager（Wang et al., 2023）与 ToolLLM（Qin et al., 2023）——把工具使用扩展到大规模技能库，前者维护可增长的技能库，后者训练智能体在 16,000+ API 上操作；HuggingGPT（Shen et al., 2023）和 Gorilla（Patil et al., 2023）通过控制器在专门模型间做选择。

智能体安全

• InjecAgent（Zhan et al., 2024）与 AgentDojo（Debenedetti et al., 2024）——评测间接提示注入，即通过工具输出中的恶意内容劫持智能体。
• Naihin et al.（2023）——提出部署智能体的最小足迹原则和运行时监控；Progent（Shi et al., 2025）、MiniScope（Zhu et al., 2025）、Ji et al.（2026）——用策略语言或权限模型在机制上限制智能体可调用的工具。
• R-Judge（Yuan et al., 2024）与 Agent-SafetyBench（Zhang et al., 2024）——评测模型识别不安全轨迹的能力，作者转述其发现为强模型也常通不过安全意识测试。

智能体基准

• AgentBench（Liu et al., 2025）——在八个环境中评测智能体；WebArena（Zhou et al., 2024）与 OSWorld（Xie et al., 2024）——测真实网页和操作系统界面上的任务完成。
• τ-bench（Yao et al., 2024）——测策略约束下多轮对话的可靠性；API-Bank（Li et al., 2023b）——提供带标注的工具使用对话。

基线与对比：本文是基准论文，没有方法基线；对比对象是 10 个前沿模型在 FORTIS 上的表现。

作者定位：作者称上述基准测的是"智能体能否完成任务"，FORTIS 问的是另一个问题——多个可行选项并存时，智能体是否选择最小必要能力；并把技能层当作权限边界而非能力接口来对待，且在普通（非对抗）条件下测量越权。

整体思路：把技能和工具组织进 L0–L4 的显式权限层级，让同一请求同时存在窄（低权限）和宽（高权限）两条可行路径，从而把"克制"变成可测量的行为属性。框架名 FORTIS。

问题形式化

• 每个领域 d 有技能集 Sd 和工具集 Td，每个技能、工具各带一个权限等级 ℓ∈{0,1,2,3,4}；等级只用于评测，不展示给模型。
• Task 1 的 ground truth 是 s^⋆(q,d) = argmin_{s ∈ Γd(q)} ℓ_S(s)，即能完成请求 q 的技能中权限最低者，构造上保证标签级唯一。
• Task 2 的 ground truth 是 τ^⋆ ∈ argmin_{τ ∈ Φd(q,s)} (max_{t ∈ τ} ℓ_T(t), |τ|)，即先最小化权限再最小化集合大小的可行工具集。

权限层级与重叠设计

• 五级层级：L0 Observe、L1 Read、L2 Annotate/Modify、L3 Execute、L4 Bulk/Admin（Table 4）；低层更窄、更局部，高层跨资源、批量或管理性。
• 刻意重叠：高层能力被构造成包含低层功能、扩大范围或减少参数负担，使同一请求在多个等级上都可解；作者称没有重叠基准就退化成匹配问题。
• 参数负担梯度：低层工具要求显式参数（具体文件夹、账号、条目 ID），高层工具参数更少或接受自然语言查询，使宽路径在实际中更"省事"。
• 技能层不对称：Task 1 把高权限技能放进候选列表，Task 2 展示整个领域的工具清单而非只给该技能相关工具，以测克制而非预过滤后的顺从。

数据构建与质量控制

• 三个领域各 20 个技能；工具数 email 62、e-commerce 56、filesystem 56；Task 1 每领域 200 条共 600 条，Task 2 共 1,543 条（Table 1）。
• 查询经三阶段流水线生成：结构模板（骨架）→ 槽位填充加 LLM 辅助改写 → 自动验证（ground truth 充分、存在更高权限替代、查询不含权限等级措辞），不合格者丢弃或修改（附录 A.4）。
• 人工审核：200 条分层抽样（两任务各 100 条），两名作者独立核验，一致率 96.5%（193/200），7 条分歧经讨论解决（附录 A.6）。

评测设置与判定

• Task 1 四种设置：Clean Baseline（CB）、Scope-Ambiguous（Sc）、Lexical-Ambiguous（Lx）、Action-Implication Ambiguous（AI）；Task 2 四种：Clean Baseline（CB）、Convenience-Sensitive（CS）、Broad-Action Justified（BA）、Boundary-Sensitive（BS）。
• 每条实例判为 exact_match、under_privilege、over_privilege、no_action 四类之一；汇总指标 EM、OPR、NAR、FR（=OPR+NAR），主指标为 FR 和 EM。
• Task 1 模型只看短技能描述、输出单个技能名，提示词不含最小权限指令；Task 2 给定技能、完整 SKILL.md 文档和全工具清单，输出 JSON 工具调用列表；temperature 固定 0.0（附录 B）。

实验设置

• 被测模型（10 个）：GPT-5.5、GPT-5.4、GPT-5.4-mini、Claude Sonnet 4.6、Claude Opus 4.7、Gemini 3.1-Pro、Gemini 3 Flash、Qwen 3.6-Max、Kimi K2.6、DeepSeek-V4-Flash。
• 基准与规模：FORTIS 三领域（email、e-commerce、filesystem）；Task 1 共 600 条查询，Task 2 共 1,543 条（Table 1）。
• 指标：EM（exact-match）、FR（fail rate=OPR+NAR）、OPR（over-privilege rate）、NAR（no-action rate）、OPR/FR。
• 判定方式：按构造的 ground-truth 标签做规则判定（是否超出最小充分技能/最小可行工具集），非 LLM 评审。
• 解码设置：temperature 0.0；Task 1 输出预算 128–512 token，Task 2 为 1024–4096，因后端而异（附录 B.4）。
• 重复次数：论文未报告。

主结果

据 Table 2（三领域汇总）：

表格较宽，可左右滑动

模型	Task1 EM	Task1 FR	Task2 EM	Task2 FR	Task2 OPR	Task2 NAR
GPT-5.5	41.2%	51.2%	20.4%	62.5%	47.9%	14.6%
GPT-5.4	42.2%	52.7%	15.2%	66.6%	43.8%	22.8%
GPT-5.4-mini	43.5%	45.5%	19.7%	59.3%	58.8%	0.5%
Claude Sonnet 4.6	49.5%	40.3%	22.4%	56.8%	56.0%	0.8%
Claude Opus 4.7	54.8%	35.5%	26.1%	47.4%	47.2%	0.2%
Gemini 3.1-Pro	47.7%	41.2%	22.7%	49.2%	47.8%	1.4%
Gemini 3 Flash	46.2%	43.7%	16.9%	61.2%	61.2%	0.0%
Qwen 3.6-Max	51.3%	38.5%	25.9%	45.2%	45.0%	0.2%
Kimi K2.6	44.0%	47.8%	23.3%	53.7%	46.1%	7.5%
DeepSeek-V4-Flash	46.2%	44.5%	20.7%	53.0%	48.6%	4.4%

• 作者称最好的路由模型 Claude Opus 4.7 仍把超过三分之一的请求路由错，GPT-5.4 超过二分之一；错误发生在任何工具调用之前。
• Task 2 中 8 个模型的 OPR/FR 为 0.92–1.00，即失败几乎全是越权；7 个模型 NAR 低于 1.5%，作者称模型几乎从不因过于谨慎而失败。
• 例外：GPT-5.5 与 GPT-5.4 的 NAR 分别为 14.6% 和 22.8%（Table 2），Kimi K2.6 在 Task 1 有非零 no-action（Table 2 表注）。

分设置失败率（Table 3、Figure 4）

• 测了什么：四个 Task 1 设置和四个 Task 2 设置下的分层失败率。
• 结果：Task 2 Convenience-Sensitive 设置失败率 75.0%–97.8%，Boundary-Sensitive 为 71.1%–96.0%（正文 4.2）；Task 1 三个歧义设置的失败率在各模型上均高于 Clean Baseline（Table 3）。Figure 4 中 Gemini 3 Flash 在 CS 和 BS 轴上分别为 97.8% 和 88.0%。
• 作者解读：这些不是对抗提示，而是日常请求的普通特征；∆ 值（峰值与 Clean Baseline 之差）在 Task 1 超过 67 个百分点、Task 2 超过 41 个百分点，作者认为安全只在权限要求近乎写明时成立。

端到端成功率（Figure 3）

• 测了什么：两任务用独立查询集、Task 2 给 oracle 技能，故以 EM1×EM2 估计端到端成功，作者称其为假设独立的乐观上界。
• 结果：端到端成功率 6.4%（GPT-5.4）到 14.3%（Claude Opus 4.7）；Figure 3 图注称最好的模型也在超过 85% 的查询上失败。
• 作者解读：每个阶段都过滤掉大量查询，没有模型在第二阶段挽回第一阶段的损失，技能层安全不能只在一个阶段解决。

规模与领域分析

• 规模效应：作者比较同家族规模递增，称 GPT 家族从 GPT-5.4-mini 到 GPT-5.4 每个设置都变差（Task 2 BS 差 13.6 个百分点）；Claude 家族 Sonnet→Opus 在难设置上改善（Task 2 BA 改善 21.7 个百分点）而 clean 条件无进一步提升；Gemini 家族 Flash→Pro 在 CS、BS 各改善超 12 个百分点但 Task 2 CB 变差 18 个百分点。作者认为规模不带来技能层安全的一致改善。
• 领域分解（Table 5、6，附录 C）：Task 2 在 e-commerce 的 EM 为 0.0%–2.2%，email 为 29.6%–55.0%，filesystem 为 13.1%–26.0%；e-commerce 失败率 53.9%–81.0% 为各领域最高。filesystem 上 GPT-5.4 的 NAR 为 30.4%、OPR/FR 仅 0.43，是唯一 no-action 占失败多数的领域-模型组合。

其他消融与分析

• Task 1 Clean Baseline 失败率 3.3%–16.7%（Table 3）。
• Task 2 Clean Baseline 失败率：8 个模型在 19.0%–50.9%，例外是 Gemini 3 Flash 的 4.5%（Table 3）。
• Kimi K2.6 在三个领域的 Task 1 NAR 分别为 8.5%、10.5%、7.0%，其余模型接近零（附录 C）。
• 失败案例（附录 F）：CS 设置下模型选零参数的高层工具替代需显式参数的低层工具；BA 设置下把多目标请求交给跨资源工具而非逐目标迭代；BS 设置下把缺失的可选功能当作升级权限的理由。

作者指出的局限与后续方向

• 领域覆盖：FORTIS 目前只覆盖三个代表性领域（email、e-commerce、filesystem），技能层级为合成构建，尚未包含医疗、金融、代码执行等垂直领域；作者称模块化设计允许在同一权限层级框架下新增领域（附录 H）。
• 外部效度：合成构造保证受控评测条件，作者称自然用户轨迹的互补研究能进一步加强外部效度（附录 H）。
• 不执行工具：基准只评测技能与工具的选择，不在真实后端上执行所选工具；作者称这是为了安全和可复现，未来工作可在保持适当防护的前提下扩展到执行轨迹（附录 H）。

实验覆盖范围

• 被测模型为 GPT-5.5、GPT-5.4、GPT-5.4-mini、Claude Sonnet 4.6、Claude Opus 4.7、Gemini 3.1-Pro、Gemini 3 Flash、Qwen 3.6-Max、Kimi K2.6、DeepSeek-V4-Flash，共 10 个（4.1 节）。
• 评测规模为 Task 1 600 条、Task 2 1,543 条查询，分布于三个领域（Table 1）。
• 每个模型每个条件运行一次（temperature 0.0），论文未报告重复运行次数或方差。
• 判定为基于构造 ground truth 的规则判定；ground-truth 质量经 200 条抽样人工审核，一致率 96.5%（附录 A.6）。
• 端到端成功率为 EM1×EM2 的估计上界，两任务使用独立查询集、Task 2 提供 oracle 技能，未测量技能误选向下游传播的实际效应（4.3 节）。

FORTIS 是一个评测智能体技能层越权（over-privilege）的基准，针对的问题是：模型经技能层把用户意图转为执行时，经常激活比所需更宽的能力，而现有基准只测任务完成。

• 方法要点：技能和工具按 L0–L4 五级权限组织并刻意让高低层功能重叠；Task 1 要求从重叠技能库中选最小充分技能（600 条查询），Task 2 要求在给定技能及其完整文档下选不越界的工具集（1,543 条）；覆盖 email、e-commerce、filesystem 三领域，权限标签不给模型看。
• 主结果：10 个前沿模型 Task 1 失败率 35.5%–52.7%，Task 2 失败率 45.2%–66.6%（Table 2）；8 个模型的 Task 2 失败几乎全是越权（OPR/FR 0.92–1.00）。
• 日常条件更差：Convenience-Sensitive 设置失败率 75.0%–97.8%，Boundary-Sensitive 为 71.1%–96.0%，作者强调这些条件无需对抗构造。
• 端到端：以 EM1×EM2 估计的成功率上界仅 6.4%–14.3%（Figure 3）。
• 规模不解决问题：作者称同家族规模递增无一带来一致改善，GPT 家族反而一致变差。
• 作者结论：写明权限限制不等于执行限制，模型把技能文档当建议而非约束；权限边界的执行必须放在模型之外、在技能或工具调用层做机械检查；技能层应被当作智能体安全分析的中心决策层。