论文用生成式 Agent 建模模拟私有测试集对评分与用户体验差距的影响

如何把基准设计放回行动者互相反馈的评价生态，而不是固定生态其余部分、只检验单次指标。

• 场景：作者认为 MMLU、HELM、Terminal-bench 既测量也定义进展路线。分数引导研发与选型；一旦被当作优化目标，就会扭曲其要追踪的量，并可能影响资本、红队重点和监管注意力。
• 现有不足：作者称现有方法把基准当成一次性仪器，只评校准、效度、抗污染，并固定生态其余部分。博弈模型在行动者异质、信息不对称和多反馈通道下难以求解；这类问题又是反事实的，经验数据并不总是可得。
• 作者的框架：评价被写成共享测量基础设施，而不是供应链里向下游流动的产品，也不是价值链里的一项活动。分数、资本、采纳、事件与监管互相牵动。
• 本文要拨动的杠杆：评估者单独可控的留出设计，即基准条目及其维度权重是公开还是扣留。作者问：私有留出是否总会缩小公布分与用户满意度的差距。
• 工具的定位：作者提出六类行动者耦合的生态框架，并用混合生成式多智能体模型作假设生成器。作者称它表面候选动态及其依赖条件，供经验研究与政策分析去检验，而不是预测真实市场。

供应链与价值链

• Hopkins 等（2025）、Cobbe 等（2023）、Widder and Nafus（2023）、Bommasani 等（2024）追踪基础模型、数据与服务在专门行动者网络中的流动，关心问责路由与模块化造成的责任脱节。
• Porter（1985）把企业拆成价值活动，关心成本位置与价值在何处产生。作者认为两条线都是线性流动；评价分数被多类行动者并行使用，并不沿此流动。
• Bommasani 等（2024）的 Ecosystem Graphs 画基础模型依赖网络。作者称其焦点是模型的社会足迹，不是协调行为的测量基础设施。

评测、博弈与污染

• HELM（Liang 等，2023）规定覆盖与多指标测量；Foundation Model 报告（Bommasani 等，2021）呼吁多准则有效评测；Arena（Zheng 等，2023；Chiang 等，2024）用人类偏好做动态排名。
• 指标博弈见 Thomas and Uminsky（2022）、Manheim and Garrabrant（2018），并联系 Campbell（1979）与 Lucas（1976）。污染见 Sainz 等（2023）、Balloccu 等（2024）、Magar and Schwartz（2022）。构念效度批评见 Jacobs and Wallach（2021）、Raji 等（2021）。基准采纳集中于少数数据集，见 Dehghani 等（2021）、Koch 等（2021）。
• 作者称这些工作处理单个基准的失效模式；本文把竞争、资本配置和消费者行为放进同一生态，使单个基准设计良好时仍可能出现失效。

生成式多智能体建模

• 方法线上，Aher 等（2023）、Park 等（2023）、Gao 等（2023）、Manning 等（2024）、Cross 等（2025）推进生成式智能体仿真的设计与验证；Ghaffarzadegan 等（2024）加入稳健性与提示敏感性检查。
• Larooij and Törnberg（2026）认为 LLM 的黑箱、文化偏见和随机输出使验证更难；Wu 等（2026）记录 LLM 行动者的方差偏低。作者据此把 LLM 限于战略规划，市场、计分与状态转移用确定性规则。
• 验证参照包括 Sargent（2013）的 V&V、Zhou 等（2025）的 PIMMUR，以及 Vezhnevets 等（2023）改编的证据层级。作者称自己处于该层级中低于「在新的真实数据上预测」的阶梯。

治理参照与本文基线

• 附录 A 把临床研究的独立审查、民航的强制事件报告，当作高风险测量系统的制度例子。作者称类比不完美：AI 能力变化快，评测该测什么也更有争议。
• 基线：非 LLM 的启发式规划器；隐私阶梯上的 public_only、baseline、private_dominant、private_only、iid_holdout；附录 F.5 用回合 0 条件拟合的零模型，对照 40 轮轨迹。套件锚定 MMLU、HumanEval、TruthfulQA、MT-Bench 等，但是风格化向量，不是在这些基准上重跑模型。
• 作者把本文定位为：在供应链/价值链之外单列评价层，并用可逐通道改动的混合仿真，研究评估者一个设计选择如何传过生态。

作者把评价生态做成 混合 GABM：机构由 LLM 或启发式规则做月度分配，市场、计分和状态转移用确定性规则。作者称仿真检验的是这一风格化结构下机制是否说得通，分数–满意度差距部分由该结构定义。

行动者与信息分区

• 六类行动者：模型提供者、评估者、消费者、监管者、资助者、媒体。仿真单位是机构，不是个人；消费者这一大众群体始终用规则。Figure 1 图注称灰色虚线框中的行动者及相邻供应链未纳入。
• 规模：6 家虚构名提供者、1 个评估者、1 个媒体、1 个监管者、4 类资助者、51 个消费者细分（17 个用例画像 × 3 个行为原型）。
• 三层信息：公共状态（分数、排行榜、市场份额）全员可见；私有状态（信念、策略）只对所有者可见；真值（能力向量、基准维度权重、真实满意度）只由仿真持有，不进入任何行动者提示词。
• 回合：40 轮，一轮对应一个月。阶段 1–4 为规划、能力更新、计分、信念更新、事件与媒体；阶段 5 中消费者、监管者、资助者按此顺序看本轮公共状态。资助与监管效果下一轮才到达提供者。

能力、计分与差距

• 六维向量：reasoning、coding、knowledge、safety、communication、agentic。作者称这是设计选择，锚定 HELM、LMSYS 式分类以及投资上可分开的轴，并不假设统计独立。
• 计分：基准有公开任务类别，但每类维度载荷 wb 只为仿真所知。公布分是带噪测量的历史最大，用来表示公开报告只升不降：ŝ_p,b,t=max(ŝ_p,b,t−1,s̃_p,b,t), s̃_p,b,t∼ N(c_p^⊤ w_b,σ_b²/n_b)。任何行动者都不能读取真实权重。
• 套件：第 0 轮 4 个基准，40 轮内按预设再引入 9 个，共 13 个活跃基准；动态模式另有 22 个基准的池。引入间隔默认 4 轮，顶部分数停滞可提前引入。
• 差距 g：某基准公布分减去同一提供者交付的匹配满意度。匹配满意度用真实能力，按细分市场规模、以及该细分需求与 wb 的贴近程度加权。正差距表示基准承诺多于消费者得到的；g 只用能力项，切换模型里的事件与成本项不进入 g。

投资、事件与其他通道

• 三杠杆：R&D 按提供者相信的基准与消费者价值增长能力；Safety 提高安全维并降低事件概率；Product 给进入 R&D 的消费者信号做质量门，并提高有效切换成本。组合按最近 3 轮滚动平均实施。混合权重 α 在全部报告运行中固定为 0.80。
• 信念：提供者对每个基准的权重信念，由带噪的公开范围初始化（每维 σ=0.05，截断后重整），再按分数预测误差更新。学习率按画像为 0.10、0.15 或 0.20。两种模式都用规则更新信念。
• 结构性错位：作者按 13 基准套件计算，基准权重大于回合 0 人口平均需求的是推理与编码；沟通在运行早期、安全在运行后期低于需求，因组织消费者份额上升。作者称追随基准分的提供者，投资组合会不同于消费者需要的组合。
• 事件与其余行动者：事件基率每提供者每轮 20%，严重度 minor 50%、moderate 31%、major 12%、critical 7%，同时传给下游。媒体经注意力改变探索比例，不直接进入满意度。监管者用分级升级阶梯。四类资助者从固定池把资本加进提供者预算；VC 不资助开源提供者 OpenCore。

留出设计这一杠杆

• 五档：public_only；baseline 为 8/3/2 的公开/部分/私有混合；private_dominant；private_only（全部留出，权重扰动，目标余弦 0.85）；iid_holdout（权重与公开相同，用来把报告滞后与权重不对称分开）。作者称最干净的对比是两个 100% 端点。
• 三通道：公开与留出维度权重的余弦距离；私有/部分基准每 K=3 轮公布一次；观测噪声随计分样本数与留出比例 h 缩放。部分档 h=0.3，私有档 h=1.0。作者称部分档比私有档大约噪 1.8 倍。
• 余弦的含义：作者把 cos θ<1 写成复合代理，吸收条目污染与记忆、按测试任务训练、以及对抗式留出构造。仿真不把这些来源分开建模。目标余弦 0.95 与 0.85 有外部锚定；手写留出向量只近似达到目标。13 个基准上，部分档实现余弦中位数 0.98（0.94 到 0.99），私有档中位数 0.91（0.76 到 0.94）（附录 C.4，Table 4）。
• 两种规划器：启发式提供大样本的方向与排序；LLM 模式提供战略推理痕迹，种子数较少，主要用于定性核对与方向交叉检查。两者共用同一计分层。提示词用各角色的自然语言，作者称不含 gaming、Goodhart 等装置词。

实验设置

• 规划器：启发式规则；LLM 模式用 Claude Sonnet 4.6、Claude Opus 4.6、GPT-5.5 驱动提供者、监管者与资助者。媒体和消费者市场始终是规则。本文结果不比较动态评估者的启发式与 LLM 选基准（附录 F.1）。
• 生态规模：6 家提供者、51 个细分、4 类资助者、1 个监管者、1 个媒体、1 个评估者；每轮约一个月，报告运行 40 轮（附录 B）。
• 套件与条件：13 个活跃基准。五档为 public_only、baseline（8/3/2）、private_dominant、private_only（目标余弦 0.85）、iid_holdout。维度载荷为作者设定（Table 4）。
• 样本量：结构层为启发式每条件 N=50。行为层为 Sonnet 每条件 N=10 配对种子；Opus 与 GPT-5.5 各 N=3，种子 42–44（§5，附录 F.6）。
• 指标：每基准 g 为公布分减匹配满意度；下文 ∆g 为 private_only 的 g 减 public_only 的 g。另看市场份额、HHI、事件。g 只用能力项。满意度由仿真按真值能力与需求权重计算，不是 LLM 裁判。
• 作者对证据的分层：作者称两层方向一致，说明发现不依赖某一种 LLM 提示框架或某一条启发式规则；两者共用计分层，因此该核对没有检验计分机制本身。

主结果

对比	作者报告的结果	出处
Sonnet，N=10，public_only 到 private_only	绝对差距在 10/13 基准缩小，在 3 个扩大	§5.1
同上，3 个扩大基准	Instruction Following、Clinical Reasoning、Legal Reasoning；10/10 种子扩大	§5.1
启发式，N=50，同一端点	绝对差距在 9/13 缩小；另扩大 Adversarial Robustness	§5.1
Figure 3b，11 个基准	Sonnet r=-0.685（p=0.02）；启发式 r=-0.711（p=0.014）	Figure 3
iid_holdout	每个基准在 40%–70% 种子中绝对差距扩大	§5.1，Table 18
启发式重评分，N=50 配对	评分层占 ∆g 的 0.963；13/13 方向与 ∆g 一致	附录 F.2

• 作者称隐私并不均匀缩小差距：留出扰动把计分信用从主维度漏到相邻维度。主维度上人口能力盈余越低，∆g 越高。Figure 3b 排除 Agentic Tasks 与 Function Calling，因为 agentic 初始能力为 0.08 到 0.12，其余五维为 0.25 到 0.55（Table 5）。
• 作者给出的条件是：基准在留出权重把信用移向更强维度时扩大。Clinical Reasoning 主要载荷在 knowledge，权重 0.65；套件在推理上的权重大约 0.26、知识大约 0.16，研发跟随套件权重，于是知识低于推理。私有扰动把信用从知识漏到推理，分数上升，匹配满意度不升。
• 跨模式：启发式规划器看不到 public/partial/private 标签，仍在 12/13 基准上与 LLM 同号。唯一分歧是 Adversarial Robustness，作者称两边位移都小。Table 18 中，三个 LLM 扩大基准在启发式 private_only 下的扩大种子比例为 1.00、1.00 与 0.96；Adversarial Robustness 为 LLM 0.00、启发式 0.76。作者认为不太可能由 LLM 特有推理驱动该结果。

机制隔离与套件依赖

• iid_holdout：权重与 public_only 相同，只改私有报告。作者称每个基准在 40%–70% 种子中扩大，稳定模式消失；沿目标余弦 1.0、0.95、0.85，各基准的差距沿自身方向单调移动。作者称这与权重不对称一致，而不是报告滞后或观测噪声。
• 重评分：用回合末能力、去掉观测噪声，在两套权重下重算。启发式中评分层效应在 13 个基准上与 ∆g 同号；能力层效应在 11/13 上与零无法区分，Advanced Math 与 Scientific Reasoning 边际为正。正文写评分层携带 ∆g 的 0.93–0.96；附录 F.2 写 0.963，去掉两个 agentic 离群为 0.926。用回合 0 能力代入时，13 个里有 10 个符号正确，Safety Evaluation、Clinical Reasoning、Instruction Following 方向错误。
• 套件：九个启发式基准序列、各 30 种子中，Instruction Following 在每个序列的每粒种子都扩大。Clinical 与 Legal Reasoning 在默认序列 S0 中扩大比例为 97% 与 93%（50 种子批次为 100% 与 96%），在回合 0 加入领域专长基准的 S6 中一次也不扩大。作者称哪些基准扩大取决于套件，且所测套件里没有中性套件。

跨规划器、单次运行与路径

• 跨模型：附录 F.7 称高差距基准上的隐私条件排序在 Opus 4.6 与 GPT-5.5 上仍是 public_only 差距较大、private_only 更靠近零；N=3，作者称支持方向与排序，不支持对单个格子做统计检验。隐私帧在规划轮中的比例约为 Sonnet 32%、Opus 32%、GPT-5.5 14%；事件帧约为 62%、33%、21%（附录 E.7）。安全配置均值约为 Opus 0.20 到 0.24、Sonnet 0.26 到 0.30、GPT-5.5 0.26 到 0.32。baseline、种子 43 的 HHI 为 Sonnet 0.528、Opus 0.480、GPT-5.5 0.374（Table 21 的这一格由正文点名）。
• 一次运行：Figure 2 为校准 baseline、Opus 4.6、种子 43。作者称领先者在一次严重事件后单轮失去 36pp 份额，五轮后被委托审计，到第 40 轮只回到约 68%；安全配置跨提供者约 10–44%；13 个基准上公布分与匹配满意度并非均匀分开。这是一条轨迹，不是分布。
• 路径：附录 C.8 的 50 次 Sonnet 运行（5 条件 × 种子 42–51）中，Orion Labs 终份额从 0.07 到 0.81，37/50 结束时为领先者。作者称这些数字描述图中运行，不估计事件时点的频率。

其他消融与分析

• 去掉事件流、全公开套件：四次 LLM 运行中 Orion 终份额 78%–82%，对照 59%–74%，HHI 高 0.09–0.23（附录 F.4）。
• 去掉监管者、媒体、资助者、开源提供者，或合并消费者、拉平初始能力：作者称集中度效应小或跨种子变号，不据此下结论。
• 全 13 基准的 ∆g–盈余相关：Sonnet r=-0.929（p=4.4e-06），启发式 r=-0.934（p=2.9e-06）（Figure 7）。
• 零模型：回合 0 能力与组合预测回合末能力，再代入恒等式；Sonnet 交叉序列 n=208，零模型 r²=0.974，仿真 r²=0.976（Table 19）。正文写轨迹额外 +0.2 pp r²。
• 均匀初始能力留出检验：n=39，零模型 r²=0.955，仿真相对零模型 +0.020（Table 20）。
• 评估者俘获的小样本：启发式运行中市场集中度上升，两次 LLM 运行中下降；作者称两边都未确立（附录 F.1、§5.2）。

作者指出的局限与后续方向

• 权重扰动是复合通道：作者写明，仿真里的「隐私」拆成余弦扰动、K=3 报告滞后和观测噪声；余弦把污染与记忆、按测试任务训练、对抗式留出构造合在一起，结果被归于权重不对称时，可能主要由其中之一或它们的交互驱动（§5.3 第1点）。
• LLM 未进入该分解：基准内重评分只覆盖启发式；作者写明，会推理推断权重的 LLM 提供者，可能把更多 ∆g 放在能力通道。提示词中性描述基准类型，因此未检验被提示去对准留出权重的提供者（§5.3，附录 G.3 由 §5.3 点名，细节不在本文摘录范围）。
• 六维本体是设计选择：能力因套件加权和单独的安全杠杆而不平坦。作者写明，更平坦的本体或不同的投资轴可分性，可能把基准在缩小集与扩大集之间移动，或完全消除不对称（§5.3 第2点）。
• 场景范围：已实例化的生态是排行榜驱动、公开基准主导、多厂商竞争、单一辖区，六家提供者且无进入退出。作者写明，FDA 式闸门、国防采购、企业买方自测，以及提供者内部评测基础设施，仿真都没有建模（§5.3 第3点）。
• 满意度由模型定义：需求权重来自行业证据到偏好权重的研究者判断，未对照用户报告的偏好验证。权重不进入 ∆g 本身，只决定起始差距的符号。作者写明，若只对安全权重高的细分市场，13 个分类中有 4 个翻转（§5.3 第4点，附录 G.1）。
• 不预测真实市场：结论取决于 §3 与 §4 的假设；维度载荷是设定，每个分数和差距都相对它们计算（§5.3，附录 C.2）。作者称仿真是实验室不是水晶球，留出发现需要在真实排行榜上检验，且不预测真实市场（结论）。§5.4 把利益冲突、透明度强制、审计核验列为可接入的问题槽，并写明后两者是架构槽位而不是已完成的研究。

实验覆盖范围

• 规划器为启发式，以及 Claude Sonnet 4.6、Claude Opus 4.6、GPT-5.5。启发式每条件 50 个种子；Sonnet 每条件 10 个配对种子；Opus 与 GPT-5.5 各 3 个种子。运行长度为 40 轮，隐私条件为五档（§5，附录 F.6）。
• 仿真内行动者为 6 家提供者、51 个消费者细分、4 类资助者、1 个监管者、1 个媒体行动者和 1 个评估者；活跃基准 13 个，能力维 6 个（§4）。
• 留出结果的核对包括跨模式符号、iid_holdout、Opus 与 GPT-5.5 复制、基准内重评分，以及拟合零模型；Table 1 把这些列为案例验证（§5.2）。
• 评分层与能力层的数量分解写明只覆盖启发式运行；两种模式共用同一计分层（§5.1、§5.3）。
• 论文报告了评估者俘获条件下启发式与 LLM 集中度符号不同的小样本比较，并写明该效应未确立；另有一次去掉事件流的消融，以及若干作者称方向不稳、因而不下结论的结构消融（附录 F.1、F.4）。

作者把 AI 评价写成互相反馈的行动者系统，并用混合仿真考察一个评估者杠杆：基准留出是公开还是扣留。

• 问题：分数会引导研发、采纳、资本和监管，但设计方法通常把生态其余部分固定。作者要看的是，私有留出会不会缩小公布分与用户满意度的差距。
• 做法：六维向量同时表示提供者能力、基准隐藏载荷和消费者需求。公布分是带噪投影的历史最大；满意度用真实能力按需求加权，行动者读不到真值权重。LLM 只做机构的月度组合、监管与资助决策，市场和计分用规则。五档隐私从全公开到全私有，另有权重不变的 iid_holdout。
• 主结果：作者报告，Sonnet、N=10、从 public_only 到 private_only，绝对差距在 13 个基准中有 10 个缩小，在 Instruction Following、Clinical Reasoning、Legal Reasoning 上扩大，且这 3 个在 10/10 种子中扩大。启发式 N=50 为 9/13 缩小，并另扩大 Adversarial Robustness。
• 机制数字：Figure 3b 在 11 个基准上，∆g 与主维度能力盈余的 r 为 Sonnet -0.685（p=0.02）、启发式 -0.711（p=0.014）。启发式重评分在 13/13 上复现方向，评分层占 ∆g 的 0.963。零模型在 n=208 上解释 ∆g 方差的 97.4%（Table 19）。回合 0 能力会在 3 个基准上给错方向。
• 作者的结论：私有留出不是均匀抑制基准博弈的工具。基准扩大，是留出权重把计分信用移向研发已经集中的维度；套件组成决定落点。作者称这只在仿真所设的排行榜驱动市场、且差距相对混合消费者测量时成立，仿真不预测真实市场，需要真实排行榜检验。