SameFact：同一安全事实在不同响应接口下导致不同模型反应

把安全判断当作智能体动作选择的证据时，同一条安全事实的影响是否跨响应接口保持。

• 场景：作者指出，LLM 智能体既可被问某动作是否安全，也可被问下一步该做什么。模型可能认出动作不安全，而同一安全信息对下一步动作的影响小得多。安全评测与智能体评测因此面对一个测量问题。
• 现有不足：作者援引三类结果作为动机：模型能识别有害选项仍可能为操作目标而选择它（Simhi et al., 2026）；智能体安全审计中模型排序和结论可随基准与结果定义而变（Wang et al., 2026）；判断一致性高仍可对内容的有意义变化不敏感（Chen et al., 2026）。作者认为，需要在任务与候选动作固定时，直接测一条安全事实变化对判断和下一动作的影响。
• 核心观察：作者把响应接口视为被测量量的一部分。判断与动作可以共享安全信号，但不提供可互换的测量：效应幅度和因子排序都可能变。
• 本文提出：SameFact，300 对匹配反事实基准。每对只改一条状态锚定的安全事实，固定任务、先前观察、候选工具调用、标识符和非目标事实；在同一候选动作边界比较显式判断、检查点准入和开放首步选择，并用 2×2 实验分开框架与动作空间。

作者在 Related Work 把文献分成三组，并据此定位 SameFact。

安全判断与智能体动作

• ManagerBench（Simhi et al., 2026）：模型能识别有害选项，仍可能在其推进操作目标时选择它。作者称这是与本文最直接相关的工作。
• 识别类评测：SafetyBench、HarmBench、XSTest、R-Judge 分别评估安全知识、拒绝、过度拒绝，或从智能体交互记录做风险识别（Zhang et al., 2024b; Mazeika et al., 2024; Röttger et al., 2024; Yuan et al., 2024）。
• 行为类基准：ToolEmu、AgentHarm、Agent-SafetyBench 在工具使用或自主智能体场景中通过动作评测安全（Ruan et al., 2024; Andriushchenko et al., 2025; Zhang et al., 2024a）。相关工作还覆盖网页与工具生态，以及提示注入和不安全工具交互（Levy et al., 2026; Zong et al., 2026; Debenedetti et al., 2024; Zhan et al., 2024; Zhang et al., 2025）。作者称这些工作说明识别与行为可以分离；SameFact 在固定操作目标、任务状态和候选动作的条件下，测同一事实变化是否跨判断与动作保持。

测量迁移与构念效度

• Wang et al. (2026)：审计若干智能体安全基准，作者转述其结论为官方指标、模型排序以及与留出安全结果的关系，可以对同一模型支持不同结论。
• PACE（Song et al., 2026）：挑选紧凑的非智能体评测实例，用来预测更昂贵的智能体基准上的聚合表现。
• LLM 评审与构念效度：Zheng et al. (2023)、Liu et al. (2023)、Wang et al. (2024)、Zeng et al. (2024)、Tan et al. (2025)、Jung et al. (2025) 研究一种评测程序何时能为另一目标提供有效证据，包括与人类偏好的一致性、评审偏差、指令遵循失败和困难案例。Chen et al. (2026) 用对保构念编辑的不变性与对改构念编辑的敏感性形式化构念效度，并指出强一致可以与对有意义变化的弱响应并存。作者称 SameFact 在干预效应层面检验：引出接口改变时，同一事实变化的响应效应是否保持。

受控与反事实评测

• Contrast Sets（Gardner et al., 2020）、CheckList（Ribeiro et al., 2020）、反事实增强数据（Kaushik et al., 2020）和 Polyjuice（Wu et al., 2021）：分别用有意义的局部改写探测决策边界、围绕特定能力组织行为测试、隔离任务相关变化，以及生成用于解释和评测的反事实。
• 测量视角：Jacobs & Wallach (2021)、Kovatchev & Lease (2024) 认为基准分数的含义同时来自目标构念和引出程序。

基线与数据集：主实验不与上述基准做分数对比。被测对象是六个 LLM backbone 在 SameFact 自身 300 对上的接口敏感度；接口对照是判断 J、检查点准入 D 与开放首步 E，以及 2×2 的 CHECKPOINT/NATURAL × BINARY/OPEN。

作者将本文定位为：在固定智能体动作边界上使用匹配干预，检验同一事实对比的影响是否随响应接口保持，并用因子实验考察 checkpoint 式框架和可用动作如何改变该测量效应。

SameFact 把同一条状态锚定的安全事实做成匹配反事实，再在同一候选动作边界上用不同引出协议测量其效应。

匹配 safe/unsafe 对

• 配对定义：记候选动作状态为 s、精确目标工具调用为 a。每对为 (s_safe, a) 与 (s_unsafe, a)：任务、先前观察、候选动作、标识符和全部非目标事实相同，只有一条最终状态锚定的安全事实不同。
• 规模与平衡：300 对、600 个条件实例。四个因子各 75 对，三个动作语境各 100 对，每个因子×语境格 25 对。另有 43 个全局模板族、51 个语境×模板族组、39 个多样场景块；全部 39 个场景块都实例化四个因子。
• 四个因子：Authorization 改变授权或权利记录是否覆盖该动作；Constraint 改变显式规则或要求是否允许该操作；Effect 改变对象或动作的具体属性或下游后果；Scope/Consent 改变目的地、目的、受众、用途或访问是否落在相关边界内。语境为 repository、data、access-control，各自覆盖多类动作族。
• 校验：300 对全部通过单事实隔离、因子对比、候选动作 schema 和实体锚定的自动检查。两名标注者独立审计分层抽取的 120 对（12 个因子×语境格各 10 对）。五维联合通过计数为 107/120 至 119/120；105/120（87.5%）在全部五维上获双方 PASS。作者称分歧未裁决，故 87.5% 是保守联合通过率；字段级一致率 96.0%。附录 A 给完整审计。

三个响应接口与估计量

• 共同输入：三个接口收到同一任务、事实、先前观察和候选动作，只改变引出协议。判断 J 要求显式 ALLOW/BLOCK。检查点准入 D 使用智能体动作语法，但即时决策限于精确候选或 STOP。开放首步选择 E 从同一候选边界继续，允许该候选、替代动作或 STOP。所有动作响应都在工具执行前记录，因此 E 是公共动作边界上、锚定候选的首步终点，不测量完整多步轨迹。
• 敏感度方向：较大正值表示 safe/unsafe 对比在预期安全方向上效应更大。Δ_J = P(BLOCK∣unsafe) − P(BLOCK∣safe)，即判断上不安全条件相对安全条件的 BLOCK 概率差。动作侧 Δ_D 与 E_next 均为 P(candidate∣safe) − P(candidate∣unsafe)，即安全条件下更常选出该精确候选。D–E 同时改变决策如何被框定、以及哪些动作可用。

模型、重复与推断

• 六个 backbone：Qwen3.8-27B、Mistral Small 3.2 24B、Gemma-3-27B-IT、DeepSeek-V4-Flash、GLM-4.7-Flash、MiniMax-M3。
• 重复：判断对四个固定 probe 族各用两个 seed；动作侧每个条件三个匹配 seed。统计单位是匹配对，重复生成嵌套在对内。主置信区间用 100,000 次按对聚类的 bootstrap。另用 43 个全局模板族和 51 个语境×模板族组做同样次数的聚类 bootstrap，以及留一模板族分析。剖面按每个因子 75 对聚合，得到 24 个模型×因子格，报告 Spearman ρ、Kendall τb 和含平局的成对排序不一致，并用配对 bootstrap 比较接口对之间的保持程度。

首步 2×2 因子实验

• 两个因素：在同一 300 对上，Framing 为 CHECKPOINT 或 NATURAL continuation；Action space 为 BINARY（精确候选或 STOP）或 OPEN（候选、替代动作或 STOP）。四臂为 CB、CO、NB、NO，均在任何工具执行前记为首步响应。作者称 checkpoint 因素是包含“仅决策、无后续”线索的协议包，不是单一用词变化。
• 分解：各臂 Δ_arm = P(candidate∣safe) − P(candidate∣unsafe)。选择集效应、框架效应和交互分别由四臂差分的平均或差值定义（文中式 (6)–(8)）。区间为按因子×语境分层的 100,000 次按对聚类 bootstrap。Wald 检验评估框架效应、选择集效应及其交互在 backbone 间的异质性。附录 C.1 审计协议有效性及对无效输出的稳健性。

成功判定

• 主终点：J 看 BLOCK 概率差；D 与 E 看精确候选是否被选出的概率差。E 的主终点是候选边界上第一次响应的精确候选选择。排序保持用 24 格上的 Spearman、Kendall 和含平局的成对不一致率，而不是单一排行榜分数。

实验设置

• 模型：Qwen3.8-27B、Mistral Small 3.2 24B、Gemma-3-27B-IT、DeepSeek-V4-Flash、GLM-4.7-Flash、MiniMax-M3，共六个 backbone。
• 数据：SameFact 300 对（600 个条件）。四因子各 75 对，三语境各 100 对，因子×语境格各 25 对。人工审计为分层 120 对。
• 接口：J 为显式判断，D 为检查点候选准入，E 为候选边界上的开放首步选择。2×2 为 CHECKPOINT/NATURAL × BINARY/OPEN，四臂 CB、CO、NB、NO。
• 指标：ΔJ、ΔD、Enext（文中亦称 ΔE），单位为百分点。剖面用 Spearman ρ、Kendall τb、含平局的成对排序不一致。因子实验报告 Aframe、Achoice、Aint。
• 重复与区间：判断为四类固定 probe、每条件两 seed；动作侧每条件三匹配 seed。主区间与因子实验区间均为 100,000 次按对聚类 bootstrap；模板依赖另用模板族聚类与留一模板族。Wald 检验 backbone 异质性。
• 评审：敏感度由模型自身的 BLOCK 或精确候选选择计算，论文未使用单独的 LLM 评审模型给主指标打分。人工审计由两名标注者按五维 PASS 判定。

主结果

Table 1 为全体与四因子的敏感度（百分点）。全体聚合 300 对，因子列各 75 对。

表格较宽，可左右滑动

模型	接口	Overall	Authorization	Constraint	Effect	Scope/Consent
Qwen	J / D / E	73.2 / 68.0 / 42.0	61.0 / 45.8 / 23.1	94.5 / 95.1 / 79.6	94.7 / 88.9 / 40.0	42.5 / 42.2 / 25.3
Mistral	J / D / E	53.9 / 45.0 / 37.7	41.2 / 30.2 / 22.2	86.7 / 84.4 / 78.7	56.8 / 39.1 / 28.4	31.0 / 26.2 / 21.3
Gemma	J / D / E	54.8 / 27.9 / 19.6	44.2 / 24.0 / 5.3	83.7 / 64.0 / 54.7	56.8 / 5.3 / 3.1	34.3 / 18.2 / 15.1
DeepSeek	J / D / E	52.8 / 40.9 / 10.8	37.5 / 24.9 / 13.8	88.3 / 80.0 / 5.8	53.5 / 33.3 / 0.9	32.0 / 25.3 / 22.7
GLM	J / D / E	58.8 / 36.1 / 1.7	60.2 / 32.0 / 0.4	87.2 / 74.7 / 4.4	49.2 / 10.7 / 0.0	38.7 / 27.1 / 1.8
MiniMax	J / D / E	70.6 / 46.0 / 40.1	69.2 / 38.7 / 28.4	93.7 / 74.7 / 73.8	72.7 / 36.4 / 30.2	46.8 / 34.2 / 28.0

据 Table 1。

• 聚合顺序：作者称六个 backbone 在聚合层面都是 ΔJ > ΔD > ΔE，且开放首步敏感度都低于显式判断。跨接口变化幅度因模型而异：Qwen 从 73.2 到 68.0 再到 42.0 pp，GLM 从 58.8 到 36.1 再到 1.7 pp。
• 因子并不按同一比例缩放：作者称 Constraint 在四个 backbone 上最能保持到行为端：E 为 Qwen 79.6、Mistral 78.7、Gemma 54.7、MiniMax 73.8 pp；同一因子在 DeepSeek、GLM 上降到 5.8 与 4.4 pp，尽管二者 J 高于 87 pp、D 高于 74 pp。Effect 在 E 上 Qwen 仍为 40.0 pp，Gemma、DeepSeek、GLM 为 3.1、0.9、0.0 pp。
• 低 E 不是安全态上的广泛弃权：Table 17 中 DeepSeek 的 E 精确候选选择在 safe 为 100.0%、unsafe 为 89.2%；GLM 为 100.0% 与 98.3%。判断侧 BLOCK 率：DeepSeek 从 0.4% 到 53.3%，GLM 从 0.6% 到 59.4%。Qwen 与 MiniMax 的聚合 J（73.2 vs 70.6）和 E（42.0 vs 40.1）接近，D 相差 22.0 pp（68.0 vs 46.0）。作者称端点相似可以掩盖不同的跨接口结构。

剖面保持

• 测了什么：24 个模型×因子格上，比较 J、D、E 的敏感度是否保持排序。Figure 2 每个点是一格，虚线为敏感度相等。
• 结果：Spearman 为 J–D 0.817、D–E 0.674、J–E 0.470；Kendall τb 为 0.630、0.512、0.352。含平局的成对排序不一致：J–D 18.48%（Figure 2 标为 18.5%）、D–E 24.64%（图中 24.6%）、J–E 32.61%（图中 32.6%；摘要写 18.5% 到 32.6%）。配对 bootstrap：J–D 的 Spearman 比 J–E 高 0.346（95% CI [0.269, 0.425]）；J–E 的排序不一致比 J–D 高 14.13 pp（95% CI [10.51, 19.20]）。
• 作者的解读：作者称共享信号弱于“剖面被保持”。举例：Gemma 的 Effect 在判断为 56.8 pp，检查点仅为 5.3 pp，低于其 Authorization 的 24.0 pp；GLM 的 Authorization 与 Effect 在判断为 60.2 与 49.2 pp，E 降到 0.4 与 0.0 pp。

2×2 框架与动作空间

• 测了什么：同一 300 对上，checkpoint 式框架相对自然延续、二元动作空间相对开放动作空间。Figure 3 为四臂 Δ 及 95% 按对聚类 bootstrap 区间；Figure 4 为 Aframe、Achoice、Aint。
• 框架效应方向一致、幅度不同：Aframe 为 Qwen +13.1、Mistral +10.9、Gemma +16.4、GLM +29.3、DeepSeek +11.1、MiniMax +8.4 pp；作者称每个 95% 区间都不含 0。摘要将该范围写作 8.4–29.3 个百分点。Figure 3 上若干臂的点值包括：Qwen 的 Checkpoint–Binary 68.3、Checkpoint–Open 49.2、Natural 一侧 49.2 与 42.2；GLM 的 Checkpoint–Binary 36.1、Natural–Binary 0.1、Checkpoint–Open 25.7、Natural–Open 3.1；DeepSeek 的 Natural–Binary 42.1、Natural–Open 9.7、Checkpoint–Open 32.8、Checkpoint–Binary 41.1。
• 动作空间与交互因模型而变：限制为候选对 STOP 时，敏感度变化为 Qwen +13.1、GLM +3.7、DeepSeek +20.4、Mistral −4.3、Gemma −6.3、MiniMax −0.4 pp（MiniMax 的 95% CI [−3.1, 2.3]）。自然延续下，Mistral 从 Binary 19.9 pp 升到 Open 38.2 pp，DeepSeek 从 42.1 降到 9.7 pp。交互：Qwen +12.1、Mistral +28.0、Gemma +18.9、GLM +13.4、MiniMax +16.1、DeepSeek −24.1 pp。DeepSeek 在 checkpoint 框架下开放动作空间使敏感度降 8.3 pp（41.1→32.8），在自然延续下降 32.4 pp（42.1→9.7）。替代动作很少被选：43,200 次因子响应中 111 次。Wald：框架×模型 χ²(5)=106.833（p=1.91×10⁻²¹），选择集×模型 380.756（p=4.16×10⁻⁸⁰），三阶交互 348.965（p=2.92×10⁻⁷³）。作者称两种模板族聚类和留一模板族下，三个异质性检验仍然高度显著；不存在与模型无关的、从受限候选准入映射到开放首步的变换。作者还称该框架对比应读作协议级效应，因为 checkpoint 条件捆绑了仅决策与无后续线索。

其他消融与分析

• 原始三接口落差位置（Table 16，L=(ΔJ−ΔD)−(ΔD−ΔE)）：Qwen L=−20.83（AJD 5.17，ADE 26.00）；Mistral 1.58（8.92，7.33）；Gemma 18.53（26.86，8.33）；DeepSeek −18.17（11.94，30.11）；GLM −11.76（22.68，34.44）；MiniMax 18.69（24.58，5.89）。Figure 6 将负值标为 D→E 落差更大、正值标为 J→D 落差更大。
• 原始接口的 safe/unsafe 率（Table 17，百分数；J 为 BLOCK，D/E 为精确候选）：Qwen 1.0/74.2、98.6/30.6、100.0/58.0；Mistral 0.0/53.9、100.0/55.0、100.0/62.3；Gemma 1.3/56.0、100.0/72.1、94.4/74.9；DeepSeek 0.4/53.3、99.9/59.0、100.0/89.2；GLM 0.6/59.4、92.2/56.1、100.0/98.3；MiniMax 2.0/72.5、91.9/45.9、99.7/59.6（列序为 J safe、J unsafe、D safe、D unsafe、E safe、E unsafe）。
• 人工一致（Table 3，120 对）：安全态 98.3%、不安全态蕴含 92.5%、单事实隔离 95.8%、因子标签 94.2%、候选有效性 99.2%；600 个字段判断总体 96.0%（95% CI [94.0, 97.8]）。联合通过（Table 4）：118/120、107/120、115/120、113/120、119/120；五维同时 105/120（87.5%）。作者称分歧主要是 PASS 对 UNCLEAR，安全态与不安全态字段没有直接的 PASS 对 FAIL；候选有效性有 1 次 FAIL 对 PASS。不安全态蕴含的 Cohen’s κ=0.438；若干维度因 PASS 占主导而使 κ 低或为零。
• Figure 1 标注的示例轨迹：图中 Qwen 为 65.7→59.3→32.7，MiniMax 为 66.2→38.4→31.9。这些数字与 Table 1 的全体 Δ 不同；论文未在图注中说明它们对应哪一子集。Figure 5 的模型级数值作者称与 Table 1 相同。

作者指出的局限与后续方向

论文正文的 Discussion 与 Conclusion 未单独列出 Limitations。附录若写明测量范围，以下仅保留正文已明确限定的主张。

• 首步而非完整轨迹：§3.2 与引言写明，比较的是同一状态、同一次动作机会上的匹配事实效应，不测量完整多步轨迹；E 是工具执行前的候选锚定首步终点。（§3.2）
• 框架不是纯用词效应：§4.3 与 §5.1 写明，checkpoint 条件捆绑 decision-only 与 no-follow-up 线索，结果是关于该操作化协议的证据，不是纯粹的词汇框架机制。（§5.1）
• 不能做与模型无关的校正：贡献 3 与 §4.3 写明，动作空间效应及其交互随模型变化，受限安全决策不能用单一的、与模型无关的校正映射到开放动作选择。（§4.3、Conclusion）
• 复现材料：Reproducibility Statement 称作者计划以匿名代码库便于复现；正文未称代码已经公开完成。（Reproducibility Statement）

正文未把“未来将扩展到其他模型家族或工具执行后轨迹”写成已承诺的后续工作；上面第 1–3 条是作者对当前估计量边界的明确限定。

实验覆盖范围

• 被测模型为 Qwen3.8-27B、Mistral Small 3.2 24B、Gemma-3-27B-IT、DeepSeek-V4-Flash、GLM-4.7-Flash、MiniMax-M3，共 6 个；主矩阵为这 6 个模型 × 3 个接口 × 4 个因子（Table 1）。
• 数据规模为 300 对、4 个因子、3 个动作语境（repository、data、access-control），每格 25 对；模板结构为 43 个全局模板族、51 个语境×模板族组、39 个场景块（Table 2、§3.1）。
• 人工审计覆盖分层 120 对、五维，两名标注者；分歧未裁决（Table 3、Table 4、§3.1）。
• 动作测量记录在工具执行之前；2×2 的四臂同为这 300 对上的首步响应。替代动作在 43,200 次因子响应中出现 111 次（§3.2、§4.3）。
• 推断使用 100,000 次按对聚类 bootstrap，以及模板族聚类与留一模板族；论文报告了 Wald 异质性检验。论文未报告跨语言或跨部署环境的结果，因为正文未做该划分。

SameFact 是一个 300 对的匹配反事实基准，用来问：同一条安全事实在显式判断和首步动作上是不是同一种测量。

每对固定任务、先前观察、候选工具调用、标识符和非目标事实，只改一条状态锚定的安全事实。因子为 Authorization、Constraint、Effect、Scope/Consent，语境为 repository、data、access-control。六个 backbone 在同一候选边界上经过三个接口：判断 J（ALLOW/BLOCK）、检查点准入 D（精确候选或 STOP）、开放首步 E（候选、替代或 STOP）。敏感度是该事实对比在预期安全方向上的概率差。另有 2×2：CHECKPOINT 对 NATURAL，BINARY 对 OPEN。

主矩阵（Table 1）里，六个模型的聚合敏感度都是 ΔJ > ΔD > ΔE。Qwen 全体为 73.2、68.0、42.0 pp，GLM 为 58.8、36.1、1.7 pp。Constraint 在 Qwen、Mistral、Gemma、MiniMax 的 E 上仍为 79.6、78.7、54.7、73.8 pp，在 DeepSeek 与 GLM 上为 5.8 与 4.4 pp。24 个模型×因子格上，Spearman 从 J–D 的 0.817 降到 J–E 的 0.470，含平局的排序不一致从 18.5% 升到 32.6%。checkpoint 式协议在六个模型上都提高敏感度，Aframe 为 +8.4 至 +29.3 pp，且各 95% 区间不含 0；动作空间效应可正可负，DeepSeek 的交互为 −24.1 pp。

作者的结论是测量主张：一条安全事实的观测影响由模型、事实和引出协议共同塑造。判断与首步动作共享信号，但不保持效应幅度和因子排序；受限的检查点决策不能用一个与模型无关的校正换成开放动作选择。基准的中心输出是 Table 1 的模型×因子×接口剖面，而不是单一安全分数。