论文：招聘 Agent 评分变化可能来自评分者偏差

已部署面试智能体的重复人工评分，会把评审者更换和未入账漂移读成 reliability 变化，企业也不知道一次评估还能用多久。

• 场景：Zara 为 micro1 对真实候选人做语音视频面试。作者认为，智能体失败就是一次求职申请失败；企业要持续决定是否改系统，以及已有证据到下一次运营决策时是否还在测同一件事。
• 现有缺口：作者认为，评审者效应、模型行为随时间变化、生产评估的重要性已分别被讨论，但一家企业用重复评估推断同一个已部署智能体是否更可靠时，三者如何一起作用仍不清楚。
• 观察：作者把 reliability 写成潜在状态。原始批次均值等于状态加名册项；更严的评审者加入会压平原始趋势。变更日志解释不了的移动，决定一次读数还能用多久。
• 本文做的事：用 2026 年 3–8 月 2,611 条生产录音、重叠评审者、三次生产部署和 5 月起的支持工单，估计严厉度、调整后的潜在路径和漂移率，并用工单核对方向。作者写明，没有未评估的反事实，因此不识别评估项目的因果回报。

引言把文献分成三块；第 2 节再借用测量与决策理论，写出后文要估计的对象。

评审者效应

• Myford and Wolfe（2009）、Congdon and McQueen（2000）：评审者严厉度因人而异，也会在同一人内部漂移。
• Casabianca and Beiting-Parrish（2026）、Katoch 等（2026）、Sachdeva and Boudol（2026）：用项目反应理论或偏差校正处理 AI 评估中的人类或模型评审者。作者在第 4.2 节把模型评审者的版本变化比作换评审者，并同时引用 Chen 等（2024）。
• Thorndike（1920）、Linacre（1989）：评分含有评审者。作者用这一点写下测量方程。

行为随时间变化

• Chen 等（2024）：记录 ChatGPT 行为随时间变化。
• Wiese（2026）：以人类为锚做生成式 AI 的纵向比较，并用偏差校准的 LLM-as-judge。
• Ford 等（2026）：在八次模型发布上评估多模态 LLM 的伤害与对齐漂移。

生产环境中的评估

• Pan 等（2026）：测量已投入生产的智能体。
• Gupta 等（2026）：在大规模客服智能体上使用评估驱动的运营框架。

识别、信息价值与抽样间隔

• Abowd 等（1999, 2002）：在连通的流动者集合里识别工人与企业效应。作者用同一逻辑说明，批次内可识别严厉度差，跨批次的同一评审者可识别状态变化。
• Duncan（1956）、Lorenzen and Vance（1986）：控制图的经济抽样间隔。作者把“连续评估”写成漂移率趋于无穷或批次成本趋于零时的极限。
• Blackwell（1953）、Raiffa and Schlaifer（1961）：信息价值是它减少的最小期望损失。命题 1 和 3 使用这一定义，但本文没有估计这两条命题。

对照与数据

• 内部对照：没有外部算法基线。对照是同一生产评分上的原始批次均值、仅评审者 A、部署制度固定效应，以及 4 月 23 日供应商发布日；工单对照是同一面板上的 technical-issue 工单。材料是生产录音、预发布录音、支持工单和职位发布记录。

作者认为，现有工作分开处理了评审者、时间变化和生产评估；本文把时间可比性写成生产评估的一阶要求，把漂移写成证据有效期，并把“评估是否有信息”与“评估项目是否造成随后改进”分开。

作者不提出新估计量，而是把生产评估必须识别的对象写成小型决策模型，再估计其中两条：评审者项，以及变更日志解释不了的周方差 q。

决策模型与命题

周 t 的会话量为 V_t。状态 θ_t 下失败概率为 φ(θ)，流量损失为 λ 乘以 V_t 乘以 φ(θ)。有意修复把状态提高 g(e_t)，其余移动的周方差为 q。一次评分是状态、评审者严厉度与噪声之和：

y_irt=θ_t+γ_r+ε_irt

批次均值因此混入各评审者份额乘严厉度。四条命题中，本文估计的是名册变化会把评审者差读成智能体变化（命题 4），以及漂移率决定证据多久失效（命题 2）。命题 1（修复不能随发现调整，则评估总价值为零）和命题 3（价值取决于修复容量，一般对容量非单调）不估计，只用来读第 6 节。二次监控近似下，预测方差达到企业在意的变化 D 的平方所需周数为

s=(D²−P₀)/q

间隔还依赖批次成本与损失权重。数据没有这两项，第 5 节只报告期限。

量表、样本与识别结构

Zara 做实时语音视频面试：语音模型负责对话，文本模型负责推理和工具调用，由企业维护的服务编排。生产模型使用固定版本名，论文未给出模型名称。九类为对话结构、打断处理、延迟、语速、连贯、音视频同步、卡顿、音质、面试结果。类分是子项通过比例，0 到 1；stability index 是九类均值再标准化。critical failure 来自一短列一票否决，其中 73% 是音视频同步失败。更宽的失败标志是 critical failure，或 1 到 10 的印象分不超过 6。

生产录音 2,611 条，2026-03-26 至 08-24，14 个批次，每批 68 到 335 条。末批 35 条未完成，趋势估计排除。预发布通道 910 条只在第 6.2 节使用。评审者 A 覆盖全部批次，5 月 21 日前单独评分；B 自该日起大约评每批一半，并与 A 重叠九批；C 只出现在 5 月 21 日一批（Table 2 注为 47 条）。面试日是状态时钟，签署日是发现存在的时钟；一批中一半的签署约在面试日后 7 天。

职位记录显示，窗口内每周面试大约 3.2 万到 9.1 万场。评估录音没有职位或候选人标识。

两阶段估计

第一阶段对生产录音做最小二乘，放入全部批次虚拟变量和评审者虚拟变量，省略 A。批次系数是“若由 A 评分”的期望，不对路径形状作假设。假设是：各批面试构成可比，量表与培训师理解在窗口内稳定，评审者效应可加。构成假设不能在录音上检验。抽样协方差对异方差稳健；零事件的 critical failure 方差设有下限；双评审批次因共享 B 的系数而相关，第二阶段携带这一协方差。

第二阶段是局部水平模型：第一阶段估计等于状态加已知抽样误差，状态做随机游走，q 用轮廓最大似然估计，初值扩散。平滑值按精度加权，并向估计移动较慢的邻近批次借力。q 为零则路径为常数；q 很大则回到第一阶段估计。q 为零的似然比检验问状态是否超出抽样噪声。

趋势是个案结果对月时间的回归，加评审者固定效应；标准误按批次日聚类，并做受限 wild cluster bootstrap（Webb 权重，999 次）。一个规格加入按三次部署切开的制度固定效应，一个规格只用 A 的分数。分项趋势用扣分指示，并对九类做 Holm 与 Benjamini-Hochberg 校正。部署对照是日期之后两个生产批次减去之前两个，加评审者固定效应。作者按幅度阅读，因为每个对照只有四个批次。

漂移变体、工单与成本条件

q 分三种：全部批次间隔都进入估计；允许状态在三次跨生产部署的转移上自由跳跃，使 q 只由没有部署的间隔识别；再放开 5 月 9 日到 6 月 1 日那一步。停止评估且不再部署时，h 周后的预测方差为最后一批的平滑方差加 q 乘 h。

工单结果是面试相关工单与 technical-issue 工单的对数比，对月时间回归，含星期虚拟变量，Newey-West 标准误取 7 阶滞后。另一规格除以由职位记录推算的面试量。两期比较在 6 月 8 日到 7 月 15 日的五个日期上做事后减事前；评估侧三项结果事先指定。成本账只计稳定性流水线的评审薪酬，六个月平均每月 7,806 美元，不含按发现采取行动的工程时间。

实验设置

• 被评系统：Zara，micro1 的实时语音加文本推理面试智能体。论文未给出模型名；生产模型用固定版本名。评分者是三名人工培训师，不是模型裁判。
• 样本：生产 2,611 条、14 批（Table 2）。趋势用 2,576 条，排除未完成的 8 月 24 日批次（Table 4 注，35 条）。预发布 910 条。工单从 5 月 5 日到 9 月 17 日，面试相关日均 46，technical-issue 日均 312。职位记录 4,642 条。原始 critical failure 按批从 0 到 11.1%，抽样标准误约 1 到 2 个百分点（正文 3.2）。
• 指标：标准化 stability index、critical failure 比例、任一失败标志、1 到 10 印象分、九类扣分率；漂移用一周新息标准差；工单用对数比的每月百分比变化。
• 估计：批次加评审者固定效应。批次日聚类在 Table 2 为 14、Table 4 为 13。wild cluster bootstrap 为 999 次。第二阶段为轮廓最大似然。工单回归用 Newey-West、7 阶滞后。论文未报告估计量的独立重复实验次数。
• 对照：原始趋势、仅评审者 A、部署制度固定效应、4 月 23 日供应商发布日。工单对照为 technical-issue，以及除以推算面试量。
• 部署日期：4 月 12 日、7 月 16 日、7 月 29 日。7 月 7 日与 9 日的供应商发布与 7 月 16 日部署共享批次窗口，不能单独做安慰剂。

主结果

| 结果 | 估计 | 条件 | 出处 | | 评审 B 对 A | -0.792 SD | 稳定性指数，批次固定效应，n=2,611 | Table 2 | | 原始月趋势 | +0.002 SD | 指数；正文给出 p=0.93 | Table 4 | | 评审者固定效应月趋势 | +0.102 SD | 指数，SE 0.021，wild-boot p=0.002 | Table 4 | | 平滑首尾变化 | 0.53 SD | 3 月 29 日 0.05 到 8 月 10 日 0.58，SE 0.07 | 正文 4.3 | | critical failure 潜在路径 | 2.8%、6.3%、2.5% | 起点、约 5 月 9 日峰值、8 月 10 日 | 正文 4.3 | | 工单对数比 | -9.9%/月 | 面试比技术类，5 月 5 日–9 月 17 日，t=-2.69 | Table 7 |

• 名册与原始趋势：作者称 5 月 9 日至 8 月 10 日原始均值升 0.13 个标准差，调整后效应升 0.48，构成项降 0.34，改进与换评审者同量级并同时到达，因而在原始序列里抵消。摘要写两名评审者相差 0.79 个标准差。
• 尺度与人群：路径在评审者 A 的尺度上。作者称不能判断 A 或 B 谁对。路径还包含面试人群：软件与工程岗位占比从 3 月的 17% 升到 5 月的 27% 后持平；referral 占 4 月职位申请人的 79%、8 月职位的 44%。作者认为，用人群解释整条路径的可能性较低，因为变动集中在变更日志对应的量表类，且与不经过评审者的工单同向，但不能排除。
• 不是单一趋势：作者称 critical failure 是驼峰，一个月趋势概括不了形状；未完成的 8 月批次原始率为 0.0%（35 条），平滑路径把它当作十四个读数之一。作者称印象分在 A 的尺度上随窗口下行，而指数上升；Table 4 中仅 A 的印象月趋势为 +0.037（SE 0.041），评审者固定效应为 +0.034（SE 0.033），二者无星号，加入部署制度固定效应后为 +0.135 并标三个星号。

评审者向量与分项

• 同一人可以方向相反：Table 2 中 critical failure 的 B 对 A 系数为 -0.022。正文写同一批内 B 为 2.0%、A 为 5.0%。作者称同一评审者可以在分级条目上更严、在一票否决上更宽。正文对 Figure 2 给出 B 在延迟上为 -1.40 个标准差、对话结构为 -0.13；作者称事件类子项的严厉度接近零，因此调整必须按类做。
• 九类校正后的结果：Table 10 中对话结构扣分趋势为 -9.26 个百分点/月，Holm p=0.001，BH q=0.001；正文写扣分占比从 63% 到 23%。音视频同步 -3.59、音质 -2.06、面试结果 -0.83，BH q 均为 0.047，Holm p 均为 0.150。延迟 -3.00，BH q=0.063。
• 未移动的类与录像缺陷：打断、语速、连贯、卡顿的未校正 p 分别为 0.792、0.168、0.126、0.662（Table 10）。作者称下降类与变更日志里改过的部分对应，对应是描述性的。音视频同步占生产 critical failure 的 73%；8 月 9 日开发分支注明重连会另开录像并覆盖第一条，作者认为一部分 critical failure 可能是录像失败，起始日没有记录。若干类在超过 95% 的录音上触及天花板，作者称平坦有一部分是扣分率的地板。

部署对照与漂移

• 三次部署的幅度：Table 5 中，4 月 12 日指数 +0.20 个标准差、critical failure +4.70 个百分点、印象 -0.43、结构 +0.37。7 月 29 日指数 +0.12、结构 +0.32、音质 +0.11。7 月 16 日指数 -0.00。作者不标显著性：正文写 4 月指数对照在稳健标准误下 p=0.008，按四个批次聚类则 p=0.29。作者给出的一种读法是，大部署可能在修旧问题的同时引入新失败模式；录像缺陷是另一候选，分数不能分开二者。
• 安慰剂与无法归属的阶跃：4 月 23 日供应商发布日的指数为 +0.02、印象为 -0.05；critical failure 为 +3.97，作者称不干净，因为 4 月 13 日与 27 日批次同时落在两个窗口里。正文与 Figure 6 把调整后指数的最大单次水平移动放在 2026-06-01，幅度 0.34 个标准差，位于上一次生产部署之后七周；渐近临界值不适用，图中不画。作者称变更日志不能区分延迟显现、未提交的生产变更和人群变化。
• 未入账移动与期限：Table 6 中，指数在全部转移上的一周新息标准差为 0.075（0.041 到 0.142）；三次部署可自由跳跃后为 0.086（0.041 到 0.180），LR p 均为 0.000。再放开 5 月下旬一步后为 0.000（0.000 到 0.151），p=0.500。作者称指数是少数阶跃，不是连续扩散。critical failure 的对应三行是 0.930、0.762、0.666，LR p 为 0.002、0.010、0.163。正文 5.3：未入账速率下，指数预测标准差在 4、8、12 周为 0.18、0.25、0.30，约 5 周达到 4 月 12 日对照的 0.20（合并速率为 6 周）；速率的 95% 区间对应 1 到 21 周。作者称这一期限估计不精确，且由少数阶跃驱动；它应读成“只靠记录会在部署级幅度上出错的时点”，不是平滑预报。批次成本与损失权重未观测，故不计算间隔。

工单、预发布通道与成本条件

• 相对对照的方向：Table 7 全窗口上，面试工单水平为 +3.7%/月（t=1.43），每场面试为 -7.2%（t=-2.20）。6 月 1 日至 8 月 31 日对数比为 -18.1%（t=-2.85）。摘要写每月约 10%。作者称只读方向和量级：只有一部分经历失败的候选人会投诉，夏季获客离开 referral、转向无同事在企业的候选人，可能更愿投诉，这会把每场面试的工单往上推，与观察到的下降相反。
• 五个拆分日同向：Table 8 中，指数为 +0.05 到 +0.18 个标准差，critical failure 为 -2.23 到 -3.76 个百分点，任一扣分为 -0.91 到 -14.76 个百分点，工单比为 -10.3% 到 -21.5%。作者称两序列在这些周接近单调，每个拆分上的同向只说明共享方向，一个共同趋势也会得到同一张表。
• 预发布回归与成本条件：staging 印象从 5 月 11 日那周的 8.50 降到 6 月 29 日那周的 2.92，7 月中回到 6.08，最后一周为 9.00（10 条）。下降前四周 116 条的印象均值为 8.5，谷底 78 条为 3.9；连贯从 1.00 到 0.87，其余类在谷底不低于 0.92，指数从 0.02 到 -0.11。作者称管道在生产部署前看到了预发布回归，回归没有进入生产，而且出现在总体判断而非技术子项；没有提交说明引用评估发现。围绕 7 月 16 日、以 staging 为对照的差分给出指数 0.10 个标准差，但 staging 按构造先接到改动。27 个提交组中 63% 落在签署日后 7 天内，置换零假设为 67%，p=0.73。Table 9：若一次升级成本为 100 美元、9 月相对 5 月前四周少 428 条，覆盖每月 7,806 美元薪酬需要把其中 18% 记到评估项目；全额记功的月净值为 35,037 美元。作者写明这不是已识别的项目效应。

其他消融与分析

• Table 2：指数的批次固定效应 R² 为 0.014，加评审者后为 0.162；正文给出批次间标准差 0.20、个案标准差 0.89。
• Table 3：九个重叠批次的 B 减 A 指数差为 -0.90 到 -0.53，合并 -0.77（SE 0.03）；Q=19.0，df=8，p=0.015。作者称差距没有趋势，表内没有趋势系数。
• Table 4：仅 A 的指数月趋势为 +0.124；评审者加部署制度固定效应为 +0.125；含未完成批次的评审者固定效应仍为 +0.102。critical failure 的评审者固定效应月趋势为 -0.784 个百分点，wild-boot p=0.193。
• 正文 4.5：调整后指数最大单次水平移动为 0.34 个标准差，位于 2026-06-01；Figure 6 只用于定位。
• 附录 C：带上非对角抽样协方差后，指数首尾平滑变化从 0.54 改为 0.53 个标准差，新息标准差从 0.077 改为 0.075。Figure 3 图例文字写 q=0.0056/周。
• 正文 6.1：评估窗口内有 27 个提交组、3 次生产部署；Figure 8 正文写两个四月和五月的双周为 0 组，七月和八月峰值为 5 组。作者称发现每两周到达、生产变更只到三次，更像修复而非信息更稀缺，但把改动捆成少数部署也会留下同一痕迹。

作者指出的局限与后续方向

• 没有专节：论文没有 Limitations、Discussion 或 Future Work 专节。
• 结论中的边界：Section 7 写明，不把评估项目期间观察到的改进当作该项目造成的效应。

实验覆盖范围

• 一条生产系统：被评对象是一条使用固定版本名、论文未给出模型名称的语音视频面试智能体；人工评审者为 A、B、C。生产录音 2,611 条、14 批；趋势估计排除 8 月 24 日未完成批次 35 条（Section 3、Table 2、Table 4）。
• 部署与安慰剂：评估窗口内变更日志有 27 个提交组、3 次行为相关生产部署。安慰剂只用 4 月 23 日供应商发布日；7 月 7 日与 9 日和 7 月 16 日部署共享批次窗口（Section 3.1、Table 5）。
• 漂移而不计算间隔：q 由局部水平模型在第一阶段批次效应上估计，并比较是否允许部署日和 5 月下旬一步自由跳跃。论文写明未观测批次成本与损失权重，因此不计算间隔（Section 5、Table 6）。
• 工单与人群记录：工单从 5 月 5 日到 9 月 17 日，主对照是 technical-issue。职位记录 4,642 条用于体量、岗位和获客渠道；评估录音没有职位或候选人标识（Section 3.3、Table 7）。
• 未估计的两条命题：预发布录音 910 条只在 Section 6.2 使用。Table 1 把评估项目对 reliability 的效应和修复容量标为透镜而非估计。Section 6.5 写明不存在未评估对照，也没有评估强度的外生变化；提交相对签署日的时间检验为 63% 对置换零假设 67%，p=0.73，作者称既不支持也不排除“发现驱动修复”。

这是对一条已部署语音视频面试智能体的纵向测量：问的是重复人工评分能否支持“它是否更可靠、旧证据是否还有效”的运营判断。

• 问题：分数同时含有智能体、评审者和未入账移动。企业若读原始均值，会在名册变化时误读智能体，也会在系统已经移动后继续使用旧评估。
• 做法：在 2,611 条生产录音上，用批次与评审者固定效应把严厉度从状态里分开，再以局部水平模型估计周方差 q。三次生产部署允许状态跳跃，以便看日志解释不了的移动。工单用同一面板上的技术类工单做相对对照。命题 1 和 3 不估计。
• 评审者：Table 2 中，评审 B 相对 A 的指数系数为 -0.792 个标准差；批次固定效应只解释指数个案方差的 1.4%，加上评审者后为 16.2%。原始月趋势为 +0.002，评审者固定效应下为 +0.102（Table 4）。
• 路径与漂移：调整并平滑后，指数从 3 月 29 日的 0.05 到 8 月 10 日的 0.58，变化 0.53 个标准差；critical failure 的潜在率从 2.8% 升到约 5 月 9 日的 6.3%，再降到 2.5%。Table 6 中，允许三次部署跳跃后，指数一周新息标准差仍为 0.086；再放开 5 月下旬一步则点估计为 0.000。作者称按未入账速率，预测不确定约五周达到 4 月 12 日对照的 0.20 个标准差，但期限不精确，且由少数阶跃驱动，95% 区间对应 1 到 21 周。
• 运营核对与边界：Table 7 全窗口上，面试工单相对技术类工单每月降 9.9%（t=-2.69），面试工单自身水平为每月 +3.7%。作者的结论是，生产评估要同时检查跨评审者可比、漂移下证据是否仍有效，以及是否与有后果的运营结果同向。作者写明，观察期的改进不是评估项目造成的效应；按 Table 9，若一次升级值 100 美元，薪酬账要打平，需要把 9 月少掉的 428 条里 18% 记到该项目，这是一个条件，不是已识别的回报。