Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2610.06317·Indexed by this site · Originally published

论文提出可审计的文本水印合规方案以落实欧盟 AI 法案第 50 条

Watermarking: from Impossibility to Auditable Compliance

Quick read

Other

Based on 论文 PDF (AI 生成); refer to the original

水印证据用描述长度与双侧conformal写成三态;模拟中存活token规则高估可容忍替换率约两倍。

Questions
Article 50(2)要求合成文本可机器读取且可检测,但有效、互操作、稳健与可靠都以技术可行性为限。强水印的普遍抗移除不能假定,普通编辑会稀释证据,单一AUROC也说不清单篇是否越出评测分布。
Methods
碰撞概率给出单层tournament的标记偏差;检测器指不出存活窗口时,可容忍替换率按存活率的平方修正。描述长度曲线记录指定变换后剩余的证据比特;双侧conformal把冻结分数收成支持、不支持或inconclusive。
Experiments and results
Fig.1b、stratum A中存活规则高估可容忍替换率1.8–2.0倍。格内假归因与假排除靠近.01与.10;错格假排除升至.80–.998。作者称δ=.10、200-token处三分之二真标记文本为inconclusive。
Limitations and future work
作者称该架构不给单篇后验,也不推翻自适应移除下的不可能性,并可能带来检测访问上的激励问题。实验是合成单层、独立替换;作者写明不延伸到插入、删除、释义或翻译。论文未报告命名大语言模型上的数字。
Experimental setupSection 5 miniature single-layer tournament watermark simulator · false attribution rate、false exclusion rate et al.
Benchmarks
Section 5 miniature single-layer tournament watermark simulator
Metrics
false attribution ratefalse exclusion rateabstentiontolerated substitution rate
AI summary针对欧盟 AI 法案第 50 条第 2 款要求生成式系统输出可机器读取和检测,论文提出一套可审计的替代方案。作者先定义描述长度鲁棒性剖面,用有限样本界说明可检测偏差会衰减、所需样本量随衰减率的平方反比增长,并以碰撞熵替代难以确定的 Shannon 熵常数。随后构建标签条件共形预测集,分别设定误归因与误排除水平,输出水印支持、不支持或不确定三种结论,覆盖率以有限样本结果给出并在可交换性下具备类条件性质。一个可复现的锦标赛水印小规模模拟验证了上述两点,并显示存活 token 规则把可容忍编辑率大约高估了一倍。论文据此提出上市前证书、签名检测报告和上市后重校准协议,用于落实欧盟委员会 2026 年行为准则,同时不主张水印具备普遍鲁棒性。

针对欧盟 AI 法案第 50 条第 2 款要求生成式系统输出可机器读取和检测,论文提出一套可审计的替代方案。作者先定义描述长度鲁棒性剖面,用有限样本界说明可检测偏差会衰减、所需样本量随衰减率的平方反比增长,并以碰撞熵替代难以确定的 Shannon 熵常数。随后构建标签条件共形预测集,分别设定误归因与误排除水平,输出水印支持、不支持或不确定三种结论,覆盖率以有限样本结果给出并在可交换性下具备类条件性质。一个可复现的锦标赛水印小规模模拟验证了上述两点,并显示存活 token 规则把可容忍编辑率大约高估了一倍。论文据此提出上市前证书、签名检测报告和上市后重校准协议,用于落实欧盟委员会 2026 年行为准则,同时不主张水印具备普遍鲁棒性。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    强水印不能假定普遍抗移除时,用描述长度与双侧conformal把检测做成带错误率的三态证据。

    在强水印不能假定普遍抗移除、普通编辑又会稀释统计证据时,如何把指定配置下的文本水印做成带错误率的可审计证据。

    • 为何成为合规问题:作者称 Article 50(2) 要求生成系统提供者使合成输出机器可读且可检测,但有效、可互操作、稳健、可靠均以技术可行性为限,并计入内容限制、成本与现有技术。义务不适用于未实质改变输入的标准编辑。2026-08-02 前已上市的系统须在 2026-12-02 前履行该款。Code 对超过 200 token 的自由文本要求加水印,并承认检测可能低置信。
    • 作者认为现有回答不够:作者转述 Zhang et al. (2024):在带质量与扰动 oracle 的 efficient 对手下,不能假定非平凡、保质量且普遍抗移除的保证。Sadasivan et al. (2025) 给出随总变差收紧的 AUROC 上界,分布靠近时趋向随机。作者认为单一 AUROC 跨阈值平均,说不清长度、领域和已离开评测分布的文档。
    • 问题被改写成条件句:要记录的是何种证据在何种变换下、以何种错误率、在何种书面条件下仍然存活。Y=1 只表示声明配置下存在目标提供者的主动水印;补集含人类文本、其他模型输出、未加该水印的提供者输出,以及标记已被移除的文本。负结果不确立人类作者身份,正结果也不确立提交、编辑或背书者。
    • 替代方案:有限样本的描述长度稳健性剖面,用碰撞熵替换未识别的 Shannon 熵常数;分开控制假归因与假排除的 conformal 集合,报告支持、不支持或 inconclusive。作者称不声称普遍稳健。精确存活式只覆盖独立替换、编辑者不知密钥、分词与长度固定、被触碰窗口在期望上回到零假设这一编辑模型。
  2. What related research exists?

    相关工作分为不可能性、水印构造、conformal应用与Article 50文书;本文被放在测量层。

    论文没有单独的 Related Work,相关讨论在引言与 Section 2。

    不可能性与统计边界

    • Zhang et al. (2024):在广泛、oracle 辅助的威胁模型下,efficient 对手不能在保持质量的同时移除非平凡水印这一最强保证不可得。作者称这并不等于已部署水印都无用,只是不能假定普遍抗移除。
    • Sadasivan et al. (2025):对任意检测器,AUROC 被人类文本与机器文本的总变差上界约束。作者把它当作必须报告被测分布与变换的理由。
    • 后续边界工作:Francati et al. (2025)、Golowich and Moitra (2024)、Qu et al. (2025)、Zhai et al. (2026) 在编码抽象或指定编辑信道上收紧边界或构造保证。论文只并列引用,未逐篇对比。

    生成式水印

    • Kirchenbauer et al. (2023):用秘密或提供者控制的密钥改变采样,再检验诱导出的统计模式。论文将其与检测机器输出分布特征的 AI-text 分类器分开。
    • 一组构造:Kuditipudi et al. (2024)、Christ et al. (2024)、Zhao et al. (2024)、Golowich and Moitra (2024)、Qu et al. (2025) 在不同假设下给出 distortion-free、undetectable 或可证明稳健的构造。作者称这些保证不可互换:无密钥时的计算不可区分,不等于授权检测器能恢复证据;“稳健”只相对于生成过程的性质。
    • SynthID-Text:Dathathri et al. (2024) 的生产规模 tournament 水印。评估含约 2000 万条 Gemini 现场回复;作者转述所报反馈指标未见统计显著下降。更长、更高熵文本证据更多,编辑或释义削弱检测。一般用四 token 种子窗和多层 tournament,并提供选择性预测。

    误分类与 conformal

    • Liang et al. (2023):作者转述通用 AI 检测器对非母语英语写作存在错误差异。论文接着写,提供者专用水印检测器避开一部分基于特征的偏差,但长度、语言、主题仍可改变分数分布。
    • Xie et al. (2026):用 conformal p 值控制课堂自适应 AI 使用政策的假阳性。作者称本文目的与构造不同:面向提供者侧 Article 50 审计,把校准格绑到显式稳健性剖面,并用两个 label-conditional p 值分别给假归因和假排除设容差。
    • 覆盖理论:Proposition 2 引用 Vovk et al. (2005)、Vovk (2013)、Angelopoulos and Bates (2023);协变量偏移引用 Tibshirani et al. (2019);更一般偏离引用 Barber et al. (2023)。这些是方法来源,论文未把它们当作实验基线。

    监管文书

    • Code of Practice:2026-06-10 定稿的自愿工具,把 Article 50(2)、(4)、(5) 落成标记、测试、文档、检测器访问和互操作承诺。作者称委员会指南把它描述为全联盟范围内被承认的、用于展示这些义务合规的唯一实用框架;遵守不构成决定性合规证据,也不产生 Article 40 那种符合性推定。
    • 另外两份文书:Regulation (EU) 2026/1744 是有约束力的修正,只给已上市系统的 Article 50(2) 四个过渡月。2026-07-20 的 Article 50 Guidelines 是解释性文书,澄清源代码、机对机、闭环工业和标准编辑等范围,不另建标记制度。作者强调三者功能不同。

    基线与评测环境:模拟对照是存活位置规则与 Equation (16),不是外部检测器。数据是 Section 5 的合成单层 tournament,论文未使用命名基准。

    作者把本文放在测量层:用稳健性剖面和双侧 conformal 支持可复现主张、有界范围和可审计错误率,而不是另一个普遍检测器。与 Xie et al. (2026) 的差别,按作者说法是审计对象、校准格和双侧容差。

  3. How does the paper address this problem?

    用碰撞熵下的存活率平方修正编辑容忍界,再用双侧conformal把分数收成三态集合。

    整体上把水印证据写成随命名变换衰减的描述长度,再用 label-conditional conformal prediction 把冻结分数收成有限样本、类条件的三态集合。分析对象是声明配置下的提供者水印,不是作者身份。

    信号与编辑存活

    • 采样侧信号:下一 token 分布为 pt(v)。种子 rt 由密钥 k 与前 h 个 token 经 Hash 得到。检测器把有界贡献 Zj∈[0,1] 聚成分数 S。风格化 Bernoulli 下,Y=0 的均值为 1/2,Y=1 为 1/2+ε。
    • 碰撞概率:单层、Ber(1/2) 下,Ct 为 ∑pt(v)²,H2(pt) 为 −log Ct。作者引 SynthID-Text:对种子取期望后,Pr(Zt=1|Y=1)=1/2+(1−Ct)/4,故一层信号 εt=(1−Ct)/4,确定性分布上为零。更深 tournament 层会改变 token 分布,贡献不能按层数相乘;提供者应报告实际协方差。Equation (8) 的 neff 只被写成规划诊断,不是保证。
    • 唯一有封闭存活式的编辑模型有四条假设:每个 token 以概率 δ 独立替换;编辑者不知密钥;分词与长度固定;自身 token 或 h-token 种子上下文被触碰的贡献失去偏差,期望上像零假设。
    • 两种算法差一个 ρ:位置 t 存活,当且仅当它依赖的 h+1 个位置都未被替换。存活率是 ρ(δ,h)=(1−δ)h+1。若检测器能丢弃损坏位置,分离依赖 nε²ρ;若不能指出哪些窗口存活,每个贡献的偏差变成 ερ,分离依赖 nε²ρ²。作者称多出来的这个 ρ 就是两种算法的全部差别。

    有限样本界与描述长度

    • Proposition 1:n 个独立、取值于 [0,1] 的贡献。零假设均值 1/2;按 Equation (10)(11),编辑后标记均值为 1/2+ε(1−δ)^{h+1}。拒绝阈为 1/2+sqrt(log(1/α)/(2n))。Hoeffding 给出假阳性至多 α;假阴性至多 β 的充分样本量与最大替换率见 Equation (13)(14)。
    • 指数差一半:Bernoulli 下的正态规划式为 Equation (15)(16)。存活位置推导把 1−δmax 写成与 n 的 −1/(h+1) 次方成正比。无辅助检测器找不到存活窗口,正确指数是其一半,即 −1/[2(h+1)]。摘要称可检测偏差衰减,所需样本量随衰减率的平方倒数增长。
    • 只作说明、不是模拟:α=.01、β=.05、h=4、ε=.05 时,Equation (16) 给出 n=2,000 的 δmax^N≈.02,n=10,000 时≈.17。作者称与 SynthID 的表现差异来自假设 (i)–(iv)。
    • 描述长度:固定分数模型 P1、P0 下,单次观测的码长优势是 b(s)=log2(f1(s)/f0(s)),只依赖观测分数。其在 P1 下的期望是 DKL(P1∥P0)/log 2 比特。小偏差下 B(δ)≈(2nε2/log 2)(1−δ)2(h+1)。作者称均值信号按 ρ 线性下降,两条相近 Bernoulli 的信息按平方下降。一般剖面 Ba,θ,r 须在留出数据上估计,并报告不确定性、保留分数分布。
    • 两条距离轴:dtok 是 token 上的 Levenshtein 距离除以较长长度;dsem=1−嵌入余弦相似度。作者称前者把保义释义记成大改动,后者可能漏掉否定、专名和关键事实,并依赖所选嵌入模型。Proposition 1 只覆盖固定分词下的独立替换;插入、删除、释义、翻译放在经验 Pareto 面上。

    双侧 conformal 校准

    • 格与标签:s(x) 随目标水印证据增大;校准开始后不得再调。开发、校准、稳健性测试数据必须不相交。Y 来自受控生成日志,不由另一检测器推断。格 R=r 可组合提供者、采样器、检测器、密钥纪元、语言、领域、长度箱、解码与水印强度、允许的编辑族和强度带。例数少则在校准开始前合并;看到测试分数后再选格会破坏保证。
    • 集合:非符合度为 A(x,1)=−s(x)、A(x,0)=s(x)。平滑 p 值见 Equation (25)。Γ(x)={y: py(x)>αy},α0 与 α1 分开。Proposition 2:在格内、给定 Y=y 和训练信息时可交换,则未来样本被错误排除的概率不超过 αy。这是对校准集抽取的平均;单份冻结校准的实现错误率本身随机,标准差量级为 αy(1−αy)/ny,r 的平方根。
    • Table 1 的四种读法:{1} 为支持目标水印,Y=0 且可交换时假归因由 α0 界定;{0} 为不支持,假排除由 α1 界定,不证明人类作者或没有其他 AI 协助;{0,1} 为 inconclusive;空集也报 inconclusive,另标漂移,决策时映回 {0,1}。作者称映回只会扩大预测,从而保持覆盖。最小 p 值为 1/(ny,r+1),名义 αy=.01 至少需要该格 99 个校准例,排除才可能发生。
    • 可交换性:多个检测器或多文档上只要任一阳性就行动,族错误率与错误发现率会失控,纠正须事先固定。反复测试同一文档的修订版也是如此,除非把序列当作家族或使用序贯有效方法。模型更新或新密钥纪元会破坏可交换性;指定协变量偏移可用加权 conformal。每次再校准产生新检测器版本和新校准哈希。

    证书、报告与监测

    • 三件对象:上市前稳健性证书记录生成器或采样器、检测器、分词器、密钥纪元、目标人群、变换和接受标准,并包含阴性发现与未支持的格。作者写明它不是欧盟符合性证书、符合性评估或合规推定。每次查询的签名报告绑定被测字节的哈希,写出 p0、p1、两侧样本量、Γ(x)、范围内/外状态和 Table 1 的三态结论。监测覆盖分数分布、编辑通道、检测器滥用、假归因报告和模型变更;重大变更产生新版本。
    • 不得误读的量:报告不得把 1−p0、原始分数或分类器置信写成“AI 写下此文的概率”。Table 3 要求人群行写熵机制和长度箱,稳健性行写校准用的编辑带。Table 4 把 Article 50(2) 的四项属性映射为可出示证据,并写明每项不确立什么:稳健性表面不确立对一切自适应、保质量移除策略的抵抗;互操作也不确立不同提供者分数或密钥的语义等价。
  4. What experiments did the paper conduct?

    合成单层模拟里,存活规则把可容忍替换率高估1.8–2.0倍;错格时假排除升至.80–.998。

    实验设置

    • 被测对象:Section 5 的微型单层 tournament 模拟器,不是命名大语言模型。伪随机函数把打包的 (h-token 上下文, token) 映到 {0,1};生成时抽两个候选,发出较大值,平局用带密钥的硬币。未标记文本来自同一分布,因此零假设数据与标记数据匹配。全文模拟取 h=4,与作者所引 SynthID-Text 的种子窗长度相同。
    • 分布:下一 token 把质量 q* 放在一个 token 上,其余均匀分到 K−1 个。附录 A:stratum A 的 K∈{2,4,8,16}、q*∼Unif(.55,.97),平均每 token 偏差 ε̄=.095;stratum B 的 K∈{2,4,8}、q*∼Unif(.80,.99),ε̄=.047。ε̄ 是 Equation (7) 的 εt 在位置和文档上的平均,并充当 Section 3 里的 ε。
    • 编辑与分数:每个 token 以概率 δ 独立替换,替换从词表均匀抽取。可评分位置 n=N−h。标准化分数见 Equation (28)。被替换的 token 或上下文给出新的伪随机比特,对应 Proposition 1 的“损坏窗口像零假设”。
    • 对照与水平:前沿对照是 Equation (16),以及“仍有 nρ 个贡献、每个保持全偏差 ε”的存活位置规则。规划水平 α=.01、β=.05;conformal 运行水平 α0=.01、α1=.10。主种子 20260902(附录 A)。
    • 样本量:Table 2 与 Figure 2a 为 60 次校准抽取、每标签 500 例。Figure 3 为单次抽取、每标签 800 例。标签由模拟生成过程给出,不是另一个检测器推断的。
    • 论文未报告:命名大语言模型上的检测数字、与人工判定的一致性,以及插入、删除、释义、翻译通道上的数值。Declarations 写明没有新的经验数据集、人类参与者实验或专有系统评估。

    主结果

    作者用 Figure 1 检查偏差衰减和修正前沿。下表据正文对 Figure 1b 的叙述:stratum A,α=.01,1−β=.95。

    n模拟可容忍 δEquation (16)
    1,000.079.079
    2,000.137.141
    4,000.197.199
    • 存活规则:作者称该规则全程乐观 1.8 到 2.0 倍,且误差随种子窗变长而变大。n=4,000、stratum A 时,它会认证 36% 的替换率,作者称真实上限为 20%。作者称 stratum B 在大约四倍长度上重复该模式,与 Equation (15) 由偏差平方比所作的预测一致。作者认为监管机构或独立评估者可用 Code 已考虑的变换测试来否证存活 token 推理。
    • 偏差曲线:Figure 1a 在 h∈{1,2,4}、δ∈[0,.45] 上,模拟与 (1−δ)^{h+1} 相差至多 .010,平均偏差低于 .005。标记偏差与闭式 E[(1−Ct)/4] 相差在 .003 以内。
    • 有效样本量:作者称在该单层方案上 Equation (8) 正确地返回 neff≈n;同节又写返回值介于 409 与 1,621,对应名义 n 为 396 与 1,596。作者称不同上下文的单层贡献独立,多层 tournament 不能作此假定。

    校准格上的错误率

    • 六格:α0=.01、α1=.10。Table 2 的经验假归因落在 .0086 到 .0105,假排除落在 .0938 到 .1000,对名义 .01 与 .10。弃权是两标签 inconclusive 的合计份额:A、n=400、δ=0 为 .017,同长度 δ=.15 为 .515;A、n=1,600、δ=0 为 .053,δ=.15 为 .049;B、n=1,600、δ=0 为 .014,δ=.15 为 .519。
    • 抽取间分散:Figure 2a 在 60 次、每标签 500 例上,实现假排除的标准差为 .013 到 .017,假归因为 .004 到 .005。作者称二者与 αy(1−αy)/ny,r 的平方根在两位有效数字上相符。作者称保证是对校准抽取的平均,只报告名义水平会藏起这份分散。
    • 错格:δ=.15 的项目对着在未编辑文本上校准的格打分时,假排除从约 .10 升到 .80 与 .998 之间(Figure 2b)。作者称检测器对几乎每一篇真标记文档报告 “watermark not supported”。作者认为这支持三件事:把编辑带写入校准格,报告上带范围内标志,范围外项目报 inconclusive 而不是肯定结论。

    编辑、长度与弃权

    • 随替换率:Figure 3a,n=1,600,单次每标签 800 例,α0=.01、α1=.10。真标记文档中 supported 份额从 δ=0 的 .877 降到 δ=.40 的 .033;inconclusive 从 .123 升到 .879。“not supported” 留在 α1 预算内;未标记项上的假归因不超过 .017。作者称低 δ 时 α1 预算落在空集,自 δ=.15 起落在满集,两者都报 inconclusive。作者称分布靠近时,系统先失去作任何主张的能力,然后才开始作错误主张。
    • 200 token:Figure 3b 在 δ=.10 下,supported 份额从 n=200 的 .239 升到 n=3,200 的 .899。作者称在 200-token 阈值处,本模拟中三分之二真标记文档为 inconclusive。作者称加水印的义务不是可检测性保证。Figure 3 的构成是真标记文档内部的份额,与 Table 2 两标签合计弃权不是同一量。
    • 弃权不随单一变量单调:A、n=1,600、δ=.15 弃权 .049,同样长度与编辑带的 B 弃权 .519(Table 2)。作者称原因是熵不同;只报告长度和编辑容忍、不报告熵机制的证书因此不完整。

    其他消融与分析

    • Equation (16) 的说明性计算,不是 Figure 1b 的模拟前沿:α=.01、β=.05、h=4、ε=.05 时,n=2,000 的 δmax^N≈.02,n=10,000 时≈.17。
    • 附录 A 的测试断言零假设分数标准化后无偏且为标准正态、ρ=(1−δ)^{h+1} 对 h∈{1,3,5} 成立、两个 conformal p 值在 .01、.05、.10、.20 上超均匀、实现的类条件错误遵守 α0 与 α1;论文未给出这些断言的数值偏差。
    • Section 5 末:下一 token 分布参数化且位置独立,没有自然语言的长程结构;真实每 token 偏差的异质只被粗略模仿;演示不延伸到插入、删除、释义或翻译;只模拟一层,Equation (8) 所针对的相依没有出现;除 Figure 2b 外,校准与测试来自同一过程,可交换性由构造成立。
  5. What are some points that can be further explored?

    作者称该架构不给单篇后验、不推翻移除不可能性,并可能带来检测访问上的激励问题。

    作者指出的局限与后续方向

    • 不能承担普遍检测:作者在 Section 7 写,文本水印不能承担普遍的人工内容检测;保质量的稳健性在自适应威胁模型下不成立,统计可分性在源分布靠近时消失。
    • 不推翻不可能性定理:同一节写,该架构不击败不可能性定理,也不给单篇文本分配后验概率。其价值被作者写成使主张可被否证。
    • 激励问题:作者称该设计有可能制造提供者的激励问题:较低可靠性或可用来正当化更受限的访问,检测性能改进或减少提供者的监管裁量。作者称该问题部分是内生的,因为触发限制的技术局限本身受提供者在开发、验证和部署上的选择影响(Section 7)。
    • 论文未把后续实验列成清单:Section 7 没有单独的 Future Work 列表。Declarations 的 Ethics 另写,未来经验验证应归档提示词、生成设置、变换代码、事先规定的格、校准划分和报告模式,并受密钥安全、隐私和伦理约束。

    实验覆盖范围

    • 实验是 Section 5 的合成模拟:单层 tournament,h=4,stratum A(ε̄=.095)与 B(ε̄=.047),编辑通道为独立 token 替换。Figure 1b 的前沿数字在 stratum A、α=.01、1−β=.95,n=1,000、2,000、4,000。
    • conformal 运行水平为 α0=.01、α1=.10。Table 2 与 Figure 2a 为 60 次抽取、每标签 500 例;Figure 3 为单次抽取、每标签 800 例。
    • 作者在 Section 5 写明:演示不延伸到插入、删除、释义或翻译;只模拟一层;除 Figure 2b 外可交换性由构造成立;下一 token 分布参数化且位置独立。
    • Declarations 写本文不报告新的经验数据集、人类参与者实验或专有系统评估。论文未报告把 Section 5 的协议用到 Gemini 或其他命名大语言模型上的数字,也未报告检测结论与人工判定的一致性。
    • Section 6 以 Table 3、Table 4 提出证书字段、签名报告和监测环。论文未报告这些字段在监管程序中的运行结果。作者并写明该证书不是欧盟符合性证书。
  6. Summarize the main content of the paper

    把水印合规从普遍检测改成带范围的证据曲线、三态报告和再校准,模拟支持平方修正。

    指定配置下的文本水印被做成可审计测量:记录证据如何衰减,并把检测收成三态,而不是判定人类作者身份。

    • 要分开的两件事:Article 50(2) 要求合成输出可机器读取、可检测,四项属性都以可行性、内容限制、成本与现有技术为限。作者把 Y=1 定义为声明配置下的目标水印是否存在;负结果不是人类作者身份,正结果也不是编辑或背书者身份。
    • 测量怎么做:单层信号用碰撞概率。编辑后若不能指出存活窗口,分离按存活率的平方下降,描述长度优势在小偏差下同样按平方衰减。双侧 conformal 用分开的 α0、α1 控制假归因和假排除,证据不够或异常时报 inconclusive。
    • 合成模拟的主数字:h=4、stratum A、α=.01、1−β=.95 时,n=1,000/2,000/4,000 的模拟前沿为 .079/.137/.197,Equation (16) 为 .079/.141/.199。存活位置规则乐观 1.8–2.0 倍;n=4,000 时作者称该规则会把 20% 的上限说成 36%。偏差曲线与 (1−δ)^{h+1} 相差至多 .010。
    • 三态与错格:Table 2 六格假归因 .0086–.0105、假排除 .0938–.1000,名义水平为 .01 与 .10。δ=.15 的文本对着未编辑校准格时,假排除升至 .80–.998。δ=.10、n=200 的 supported 份额为 .239;作者称 200-token 处三分之二真标记文档为 inconclusive。
    • 作者的用法:把“在技术可行范围内稳健、可靠”读成可比较的证据表面和有界错误率,并披露失败区域。作者称这不击败移除不可能性,也不给单篇后验;较低可靠性还可能被用来收紧检测访问。
Read originalarxiv.org