论文提出长期记忆智能体的检索可允许性验证框架
作者在3767条RHELM/MemOps查询上审计检索可采纳性:命名空间top-20召回从0.432到0.533。
- 长时记忆智能体会检索到主题相关、但属于其他主体、违反策略或生命周期不兼容的记录。召回和答案准确率看不出该记录能否进入当前提示词。
- 作者给记忆–查询对标成可采纳、不可采纳或未决,在匹配必需证据召回处比较路径并对未决标签给界,再按记忆ID追踪提示词暴露与答案披露。支持、资格和暴露分人群核验。
- 3767条查询上,命名空间top-20召回从0.432到0.533。1523例上三名reader的准确率增益为0.053–0.068,作者称是观察性的。16场景中仅DeepSeek V4 Pro的不可采纳披露区间不含0。
- 作者写明证据只覆盖两个公开源和七个RHELM组,命名空间是可信标签而非推断,冻结路线比较是关联性的。实验包括3767条查询、1523个成对例、72例固定候选分析和200条替代judge审计。
- Evaluated models
- DeepSeek V4 ProGemini 3.6 FlashGPT-5.6 LunaGPT-5.6 SolClaude Opus 5gpt-4o-2024-08-06gpt-4o-mini-2024-07-18
- Benchmarks
- RHELMMemOpsGateMem
- Metrics
- anchor recallfeasibilitypartial-identification boundsL_RC,Ajudged answer accuracyanswer qualitynon-answer raterequired-anchor false denialliteral disclosure contrast
论文提出一个检索可允许性验证框架,把每个记忆-查询对标记为可允许、不可允许或未解决三种状态,并在匹配所需证据召回率的前提下比较不同检索路径,同时追踪记忆 ID 在提示暴露中的流转。作者对 RHELM 和 MemOps 两个公开长期记忆基准的冻结排序做事后 top-20 重分析,覆盖 3,767 条查询:所有已发布锚点都落在受信任的查询命名空间内,过滤命名空间外内容在不改变命名空间内得分的情况下不会降低其排名,top-20 锚点召回率从 0.432 升至 0.533,80% 召回可行性从 0.237 升至 0.311,精确相似度评估减少 98.3%。在 72 例冻结开发诊断中,基于已发布元数据的参照方案保留了所需证据,而两个纯文本验证器在 1% 必需锚点误拒限制下都未能检出违规。作者在 16 个受控暴露场景中仅观察到四个 reader 的一个 95% 置信区间不含零。
Paper analysis
What problem does this paper attempt to solve?
长时记忆会取回相关但当前上下文不可采纳的记录,召回和答案准确率发现不了。
长时记忆会检索到能回答当前问题、但不得用于当前主体、目的、意图或时间的记录;召回和最终答案准确率发现不了这一点。
- 场景:作者称,公开历史里他人笔记、已失效日期、被要求忘记的细节都可能匹配查询主题;询问变化时,被取代的旧状态反而要保留。相关性问记录能否作答,可采纳性问它是否可以用来作答,判定属于记忆–查询上下文。
- 指标缺口:作者认为,路径可以因为少返回必需证据而看起来更安全,正确答案也可能出现在不可采纳内容已经进入提示词之后。缺失的治理证据应保持未决,不能被填成允许。
- 核心观察:同一被取代记录,对当前状态查询可能不可采纳,对历史查询却可能是必需证据。主题匹配也不能授权其他主体的记录、违反现行策略的记录,或已被明确忘记的细节。
- 本文提出:检索可采纳性核验框架。它给每个记忆–查询对标成可采纳、不可采纳或未决;在匹配的必需证据召回上比较路径,并对未决标签给部分识别界;按记忆 ID 追踪提示词暴露,再连到目标级答案披露。
- 评测拆分:作者把问题拆成候选支持、资格判定和边界执行,并用互不合并的人群,使支持、判定和 reader 失效可以分开识别。本评测在可信命名空间标签下看固定预算可达性,不检验能否从文本推断命名空间身份。
What related research exists?
作者将本文放在记忆能力、治理准入和分阶段评测之间,强调匹配召回下的记录级审计。
论文在第 2 节按三类工作定位,不把邻近系统的估计量说成系统能力上限。
长时记忆能力
- 保持与检索评测:LoCoMo、LongMemEval、MemBench、MemoryAgentBench(Maharana 等,2024;Wu 等,2025;Tan 等,2025;Hu 等,2026)评测长历史或多会话上的保持、检索、推理和容量。
- 异构与紧凑证据:RHELM(Zhang 等,2026a)加入异构时间历史;LongMemEval-V2(Wu 等,2026)测试从累积经验中收集紧凑证据。论文在这里只作描述,没有逐篇批评。
有效性、治理与情境使用
- 冲突与生命周期:MemOps、Memora、STALE、A-TMA、LoCoMo-Plus 暴露召回、变更、遗忘、过时状态和潜在约束之间的冲突(Hao 等,2026;Uddin 等,2026;Chao 等,2026;Shi 等,2026;Li 等,2026)。
- 生成前治理:治理记忆工作研究访问控制、情境信息流、来源、遗忘和取代。GateMem 做多主体记忆治理基准,MemGate 预测查询条件化准入,MRMS 与 MAP-Graph 在生成前执行资格或来源约束。
- 信息流:Selection Integrity 诊断对信息流不敏感的累积;授权和选择性披露系统被作者用来说明生成前执行的动机。附录 G 把这些工作及 MemConflict、RaMem、CI-Work 的匹配召回界和成对暴露估计标为 Not primary,并写明这指的是各文报告的估计量,不是系统能力。
分阶段分析式评测
- 中间阶段指标:HELM、AgentBoard、RAGChecker、MEMPROBE 推动多指标和中间阶段分析(Liang 等,2023;Ma 等,2024;Ru 等,2024;Ma 等,2026)。作者称本文在此之上按匹配证据召回审计范围、策略和生命周期,保留同一记忆 ID 直到提示词暴露,并给答案级目标披露打分,而不是把整条路径收成答案准确率。
基线与基准
- 对比路线:实验比较 global BM25、global dense、BM25–dense 融合、recency+dense、namespace dense、current-only、released-field、threshold 与 cluster,数据为 RHELM 和 MemOps。GateMem 附录另用上游 rag_naive(G0)和 rag_policy(G1),不与主估计合并。
作者称,本文改为在匹配召回下逐条审计检索记录,保留未决标签的界,并做暴露到披露的追踪。
How does the paper address this problem?
框架用三值可采纳性、匹配召回界和记忆ID追踪,分开核验支持、资格与披露。
整体做法是 检索可采纳性核验框架:不规定单一检索或过滤算法,而是沿同一记忆 ID 核验记录级资格、匹配召回的路径质量,以及候选暴露给下游智能体 reader 之后的披露。符号元数据、学习型核验器和未过滤路径对着同一目标和审计路径评估。
查询条件化的三值目标
- 上下文:z 含查询文本 q、已认证主体 p、治理策略 κ、查询意图 iq 和评估时间 t。评估器记录相关性、范围、策略许可和生命周期兼容,每轴取 1、0 或 ?,即已确立正、已确立负或未决。未决是评估器状态;unknown 留给核验器的显式弃权。
- 合取:可采纳性是范围、策略和生命周期的强 Kleene 合取,
a_z(m)=\bigwedge_3(n_z(m), g_z(m), \ell_z(m))。任一轴为 0 则结果为 0,全部为 1 才为 1,否则为 ?。可用性再把相关性与可采纳性做同一合取。类型化违规可以重叠,不能相加。 - 生命周期:已发布状态为 current 则兼容为 1;stale 或 superseded 在 history 意图为 1、在 current 意图为 0;状态或意图未决则为 ?。因此较早状态可以被历史查询要求保留。该规则不断言每条保留记录都相关,也不推断潜在意图。
- 标签分离:评估标签与方法可见元数据、核验器预测分开。损坏只改可见元数据;评估标签和证据锚点固定。未决标签不做填补。
候选支持与暴露追踪
- 命名空间:可信来源标识,例如已认证账户、人格、档案、租户或项目,不是主题簇,也不从语义文本推断身份。在完整可信标签且命名空间内分数相同的前提下,每个源必需锚点都在命名空间支持内,预过滤不能使已发布锚点的名次变差。作者把它用作结构性阳性对照。
- 记账:存储、被臂返回、被送入提示词三个指示满足 Eqmα≤ Rqmα≤ Wm。暴露是检索的子集,不是检索的别名。披露指示只记录预先规定的评分器是否在智能体响应中看到目标内容;作者称这是可观察输出,不是内部因果使用。
- 缺失信息:严格命名空间匹配排除缺失命名空间;已发布策略和生命周期门只移除已确立违规;弃权文本核验器在预测 unknown 质量高时不删除候选。
- 锚点:召回用的必需证据锚点独立于可采纳性评估器。粗治理字段可以在类型化风险里标记锚点,但不能改写源金标准。没有已发布锚点的查询不评召回。
匹配召回与界
- 前缀:对目标召回 τ,取达到 τ 的最短前缀作为各路径的公共比较点,避免路径靠少返回有用证据而显得更安全。在声明预算内达不到 τ 记为不可行。
- 界:可行前缀上报告已知标签风险、覆盖率和部分识别界。上界把未决项算作违规,下界只算已确立违规。作者称,在达到召回目标前插入已确立为正但无关的条目可以降低上界比例而不减少违规条数,所以上界要和可行性、覆盖率一起看,并另报任意已知违规指示和违规计数。
- 损失:L_RC,A 对不可行查询记 1,再与可行前缀上界平均。作者称它是比较用的路径损失,不是安全认证或部署接受阈值。RHELM 与 MemOps 只按预先规定的等源宏平均合并,人群不池化。主报告目标是可采纳性;历史不可用复合指标只留给冻结开发选择器和 Table 4。
- τ:开发协议在评测前把 τ 固定为 .8,并原样用于每条臂:路径须先找回至少 80% 已发布必需锚点,再比较风险。.8 不是检索分数阈值,也不是评测时调出的参数。
读者侧对比与实现选择
- 格子效应:相关/无关与可采纳/不可采纳组成四格。格子效应是焦点候选暴露减隐瞒的字面目标披露差;选择性差距是相关可采纳格减去相关不可采纳格。正差距表示暴露带来的披露差在可采纳证据上更大;相关不可采纳格仍单独报告。
- 角色:核验器在组提示词前判定候选资格,reader 生成答案,盲评 judge 给答案打分。reader 只看到问题和按序排列的记忆 ID 与文本,看不到路径身份和分数。
- 嵌入:密集臂使用固定的 Qwen/Qwen3-Embedding-8B,4096 维 float32,最长 512 token,单位归一化的 last-token pooling,分数为内积,ID 平局按稳定规则打破。
- 对照臂:比较 global BM25、global dense、融合、recency+dense、namespace dense、current-only、与标签对齐的 released-field 参照、threshold 和 cluster。released-field 是确定性参照,不是独立验证过的治理预测器。threshold 与 cluster 用开发集选出的命名空间内设置,空路由回退到命名空间内 dense。
What experiments did the paper conduct?
命名空间top-20召回从0.432到0.533;1%锚点误拒下文本核验器未检出违规。
实验设置
- 数据:开发集 23 个 persona/profile 组、45,978 条记忆、1,104 条查询;评测集 87 组、182,908 条记忆、3,767 条查询。RHELM 保留 859/1,305 个源对,其中 523 对进入评测;附录 I 写明 RHELM 评测为七个组,MemOps 评测为 80 个档案。路由到 reader 使用全部 523 个 RHELM 评测例,并从 3,244 个 MemOps 例中按结果无关方式抽 1,000,共 1,523 例。RHELM 候选限于查询日期之前的对话;MemOps 的方法可见记忆都进入全局支持,其 recency 臂用已发布源顺序,作者称这不是时间新鲜度主张。
- 路线:global BM25、global dense、BM25–dense RRF、recency+dense、namespace dense、current-only、historical released-field v1、threshold、cluster。主分析只截断已冻结的 global 与 namespace 排序,改的是计分,不重排、不在评测时调参。threshold 对 96.5% 的查询回退;作者称 cluster 与 namespace dense 实际上不可区分。
- 模型:嵌入为 Qwen/Qwen3-Embedding-8B。纯文本核验器为 GPT-5.6 Sol 与 Gemini 3.6 Flash(24 校准、72 分析)。基准原生 reader 为 DeepSeek V4 Pro、Gemini 3.6 Flash,GPT-5.6 Luna 序贯放行。受控暴露 reader 为 GPT-5.6 Sol、Gemini 3.6 Flash、DeepSeek V4 Pro,以及不合并复现的 Claude Opus 5。Claude Haiku 4.5 评判答案;GPT-5.1 审计 200 条输出。附录 J 另跑 gpt-4o-mini-2024-07-18 与 gpt-4o-2024-08-06。
- 指标:锚点召回、是否达到 τ=.8、已知标签风险、覆盖率、部分识别界、类型化违规、L_RC,A。下游为判定正确率、固定 0–10 量表除以 10 后的质量、非回答率(action 不是 answer,不是 gold-aware 过拒)、已发布字段的受保护/过时披露。核验器报告 ROC-AUC、违规精确率/召回、必需锚点误拒。
- 统计与人工:10,000 次百分位 bootstrap;基准原生对比重抽样命名空间组。人群不合并。两名博士标注者独立标注 207 对、20 个盲包。Table 7:相关性 α=0.8135(185/207),范围 0.9808(206/207),生命周期 0.6703(178/207 中可评 184),禁止状态 0.0829(原始一致 183/207)。作者因此把禁止状态解释为已发布字段的策略一致性,而不是独立裁定的真值。
- 受控构造:96 条公开开发查询中 72 条用于分析。暴露研究 16 个场景、每格 4 个,两对改写查询、三个固定候选;每名 reader 192 对、384 次请求。披露按候选独有的字面标记做子串匹配,拒绝句中的标记也计数;隐瞒后仍出现记为幻觉披露。两个诊断都不估计总体流行率。
主结果
据 Table 2a:冻结 top-20、覆盖率 .992、等源宏平均。相似度评估是查询–候选分数计算次数,不是墙钟延迟。
Swipe horizontally to read the table
路线 召回 可行性 部分识别界 L_RC,A 相似度评估 Global dense .432 .237 [.187, .195] .798 90,122 Global recency+dense .452 .256 [.198, .206] .784 90,122 Namespace dense .533 .311 [.118, .126] .713 1,551 - 幅度与结构:作者报告 top-20 成对召回差 +.101 [+.082, +.120]、可行性差 +.074 [+.056, +.095];K 取 10、20、50、100 时成对区间都不含 0。作者称全部已发布锚点都在可信查询命名空间内,命名空间内分数不变时,命名空间外过滤不能降低其名次,故该方向在这些假设下是结构性的。摘要称精确相似度评估下降 98.3%;Table 2a 差值行记 58.1× fewer。Figure 9 图注给出留一组召回差 +.097 到 +.108,七个 RHELM 组的精确符号翻转 p 值为 .0156。
- 损失来源:损失差为 −.085 [−.107, −.064]。作者把其中 −.074 [−.095, −.056] 归于不可行性、−.011 [−.016, −.007] 归于可行前缀风险,并称 87% 归于可行性。两条路径都达到 τ=.8 的 609 条查询上,上界从 .1955 降到 .1191,成对差 −.0763 [−.0929, −.0600](Table 6)。作者称 τ 取 .5、.7、.8、.9、1 时,命名空间相对 global 的方向保持不变。
- 例外:Table 2a 中 recency+dense 的界高于 global dense,正文未单独解释该行。作者称效应是范围特异的:排除范围后上界风险为命名空间 .126、global .123。Table 2c 中 wrong scope 从 .084 到 .000,生命周期从 .019 到 .017,策略不允许从 .094 到 .101。Table 4 的历史不可用上界仍为命名空间 0.778、global 0.770;作者称覆盖率同时下降。
资格核验
- 72 例:相对 namespace dense,与标签对齐的已发布字段参照把损失降低 .032,召回和可行性不变。GPT-5.6 Sol 与 Gemini 3.6 Flash 的召回/可行性/损失变化为 −.042/−.083/+.057 和 −.014/−.028/+.018。Table 9:ROC-AUC .626/.522,违规精确率 .350/.679,违规召回 .232/.049,锚点误拒 .059/.020。
- 1% 限制:作者称在 1% 必需锚点误拒限制下,GPT-5.6 Sol 检不出违规,Gemini 3.6 Flash 没有合格阈值(Figure 3b、Figure 7)。Figure 7 图注称 Sol 只在保留全部候选、从而检不出违规时满足该限制。
- 受控误拒:稳定可采纳误拒为 GPT-5.6 Sol .266、Gemini 3.6 Flash .531、DeepSeek V4 Pro .594(Figure 6)。这与 Table 9 的锚点误拒不是同一人群。
下游 reader 关联
- 1,523 例:Table 2b 中判定准确率,DeepSeek V4 Pro 从 .372 到 .424(+.053 [+.020, +.084]),Gemini 3.6 Flash 从 .457 到 .524(+.068 [+.047, +.090]),序贯的 GPT-5.6 Luna 从 .467 到 .533(+.066 [+.039, +.096])。质量差为 +.043、+.050、+.048,非回答率差为 −.048、−.041、−.038;这九个区间都不含 0。Figure 8 图注称 Claude Opus 5 未在该人群上作为 reader 运行。
- 分不开的因素:作者称命名空间也提高召回,因此这一观察性关联分不开可采纳性与可达性;只有下面的受控研究随机化暴露。六个源别准确率区间中有五个不含 0;DeepSeek V4 Pro 在 RHELM 上为 +.021 [−.037, +.075](Table 11)。作者称 RHELM 区间只重抽样七个组。200 条输出审计:正确性 κ=.728,质量 κw=.884,受保护/过时 .975/.970。
- 过滤并非一律更好:作者称策略过滤的区间跨过 0,该句未给端点。文本核验使损失上升 .0068,并使 Gemini 3.6 Flash 准确率变化 −.0149 [−.0283, −.0011];元数据门使该 reader 的过时披露上升 +.020 到 +.024。作者称这些结果只支持命名空间受限路线的比较。
受控暴露
- 四名 reader:16 个场景上,选择性差距依次为 GPT-5.6 Sol .906、Gemini 3.6 Flash .813、DeepSeek V4 Pro .656、单独复现的 Claude Opus 5 .844。相关不可采纳字面披露差为 .000、.000、+.156、+.125。该格有 4 个场景。
- 区间:只有 DeepSeek V4 Pro 的 95% CI [.031, .312] 不含 0。Figure 13 图注称该结果是构造的,不是安全保证。作者称这些是 16 个被测场景上的 reader 特异精确标记效应。
- 与观察性结果的关系:作者称冻结路线到 reader 的比较是关联性的;只有这一构造研究在其声明场景下随机化提示词暴露。
其他消融与分析
- Table 3(τ=.8,冻结 top-20):随机同规模召回 .061、可行性 .024、L_RC,A .978;深度 500 事后过滤召回 .531、可行性 .311、L_RC,A .713,相似度评估仍为 90,122;锚点保留同规模 oracle 召回 .840、可行性 .747,作者称这不是可部署臂。
- 隐藏 20% 评估判断后,路线和召回不变,覆盖率从 .992 降到 global/namespace .786/.793,界宽到 [.150, .364]/[.095, .302]。
- 去掉策略轴后,召回仍从 .432 到 .533,可行性从 .237 到 .311,上界损失从 .787 到 .693(差 −.0933,95% CI [−.115, −.071])。
- 策略/生命周期/组合过滤的召回/损失变化为 +.027/−.147、−.016/+.018、+.010/−.124。命名空间拒绝、缺失和互换在 .20 首次失去弱优势;错误允许维持到 .50,但暴露 .167 的 wrong-scope 内容。作者称这些是网格括号,不是安全阈值。
- Table 15 在 k=100 使用历史不可用风险,不是主文的可采纳性目标:namespace dense 召回 0.866、可行性 0.762、候选 1551;global dense 为 0.717、0.539、90122。
- GateMem 观察性审计不与主估计合并。Figure 12:721 个不一致检查点上,GPT-4o mini 与 GPT-4o 的暴露对披露效应为 0.429 与 0.530;GPT-4o mini 的 G1 减 G0 为答案泄漏 −0.220、有界效用 −0.169、有界过拒 +0.287。作者称路线对比不是因果的。
What are some points that can be further explored?
作者写明证据只覆盖两个公开源,命名空间为可信标签,路线到reader的比较是关联性的。
作者指出的局限与后续方向
- 来源与组数:证据覆盖两个公开源,且只有七个 RHELM 组;命名空间是可信的,而不是推断出来的(附录 B Limitations)。
- 评审与样本量:共用一个 Claude Haiku 4.5 judge;GPT-5.6 Luna 是序贯复现;替代 judge 审计覆盖 200 条输出;固定候选分析有 72 例(附录 B)。
- 人工标签:人工标签是可重复性样本,禁止状态的流行率校正一致性弱(附录 B)。
- 延迟:源执行的硬件记录不完整,因此候选数下降不是墙钟延迟主张(附录 B)。
- 未建立的主张:作者称并未建立 gold-aware 过拒、内部使用、模型排名、安全认证,或已测损坏通道之外的泛化。冻结路线的 reader 比较是关联性的;只有构造的暴露研究在其声明场景下随机化提示词暴露(附录 B)。
- 选择器结构:作者称未覆盖图结构选择器,其中未认证的结构写入可以改变哪些已认证记录被选中;支持结果假设扁平候选集和可信支持标签(附录 B)。
实验覆盖范围
- 人群:评测使用 RHELM 与 MemOps。开发为 23 组、1,104 查询、45,978 条记忆;评测为 87 组、3,767 查询、182,908 条记忆。RHELM 评测为七个组,MemOps 评测为 80 个档案。路由到 reader 为 1,523 例(第 4.1 节、附录 I)。
- reader 与 judge:基准原生 reader 为 DeepSeek V4 Pro、Gemini 3.6 Flash 和序贯的 GPT-5.6 Luna;答案 judge 为 Claude Haiku 4.5,GPT-5.1 审计 200 条。Claude Opus 5 未在这 1,523 例上作为 reader 运行(第 4.2 节、Figure 8 图注)。
- 核验与暴露:纯文本核验在 24 个校准例和 72 个分析例上比较已发布字段与 GPT-5.6 Sol、Gemini 3.6 Flash。受控暴露为 16 个场景、每格 4 个场景,每名 reader 192 对、384 次请求;reader 还包括单独复现的 Claude Opus 5 与 DeepSeek V4 Pro(第 4.1–4.2 节)。
- 检索与区间:密集检索使用 Qwen/Qwen3-Embedding-8B。主分析截断冻结排序,τ=.8,并报告 K 为 10、20、50、100。区间来自 10,000 次百分位 bootstrap(第 4.2–4.3 节)。
- 标签、损坏与另一审计:两名标注者独立标注 207 对。损坏通道为八个嵌套比率、十个种子,且只改方法可见元数据。论文写明相似度评估次数不是墙钟延迟。GateMem 审计使用另一人群,不与上述估计合并(第 4.1、4.3 节,附录 B、J)。
Summarize the main content of the paper
作者用三值可采纳性和匹配召回界审计长时记忆检索,并分开报告支持、资格与披露。
这是一套长时记忆检索的可采纳性核验协议,用来分开检查候选支持、资格、提示词暴露和答案披露,而不是提出新的检索算法。
- 问题:相关记录仍可能因其他主体、策略或生命周期而不能进入当前请求。召回和最终答案准确率既看不出漏掉的必需证据,也看不出不可采纳内容是否已经进入提示词。
- 方法:查询上下文包含已认证主体、策略、意图和时间。可采纳性是范围、策略、生命周期的三值合取,未决不填补。路径在达到同一必需证据召回的最短前缀上比较,不可行记入损失。记忆 ID 从检索追踪到提示词,再由预先规定的评分器检查响应是否出现目标内容。作者把命名空间预过滤当作可信标签假设下的结构性阳性对照:已发布锚点都在查询命名空间内,命名空间内分数不变时,命名空间外过滤不能降低锚点名次。
- 支持:3,767 条 RHELM/MemOps 查询的冻结 top-20 上,global dense 召回 .432、可行性 .237,namespace dense 为 .533、.311;部分识别界从 [.187, .195] 到 [.118, .126](Table 2a)。作者称精确相似度评估下降 98.3%。可行前缀的 wrong scope 暴露从 .084 到 .000,策略不允许从 .094 到 .101(Table 2c)。
- 资格:72 个开发分析例上,已发布字段参照降低损失且不改变召回。在 1% 必需锚点误拒限制下,GPT-5.6 Sol 与 Gemini 3.6 Flash 都未检出违规。
- 答案与披露:1,523 例上,DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Luna 的判定准确率差为 +.053、+.068、+.066。作者称因召回同时变化,这是观察性关联。16 个受控场景中,只有 DeepSeek V4 Pro 的相关不可采纳字面披露差区间不含 0(+.156,95% CI [.031, .312]);Figure 13 图注称该结果是构造的,不是安全保证。
- 作者结论:作者认为应把候选支持、可采纳性、提示词暴露和答案披露分开核验。作者称,保留证据的资格检查和分阶段追踪可以把失效定位到召回或最终答案准确率之外,并给出一套可审计的评测协议。