Paper: changes in recruiting agent scores may come from grader bias

已部署面试智能体的重复人工评分，会把评审者更换和未入账漂移读成 reliability 变化，企业也不知道一次评估还能用多久。

• 场景：Zara 为 micro1 对真实候选人做语音视频面试。作者认为，智能体失败就是一次求职申请失败；企业要持续决定是否改系统，以及已有证据到下一次运营决策时是否还在测同一件事。
• 现有缺口：作者认为，评审者效应、模型行为随时间变化、生产评估的重要性已分别被讨论，但一家企业用重复评估推断同一个已部署智能体是否更可靠时，三者如何一起作用仍不清楚。
• 观察：作者把 reliability 写成潜在状态。原始批次均值等于状态加名册项；更严的评审者加入会压平原始趋势。变更日志解释不了的移动，决定一次读数还能用多久。
• 本文做的事：用 2026 年 3–8 月 2,611 条生产录音、重叠评审者、三次生产部署和 5 月起的支持工单，估计严厉度、调整后的潜在路径和漂移率，并用工单核对方向。作者写明，没有未评估的反事实，因此不识别评估项目的因果回报。

The introduction divides the literature into three blocks; Section 2 then borrows measurement and decision theory to write down the objects to be estimated later.

Rater effects

• Myford and Wolfe (2009), Congdon and McQueen (2000): Rater severity varies across people and also drifts within the same person.
• Casabianca and Beiting-Parrish (2026), Katoch et al. (2026), Sachdeva and Boudol (2026): Use item response theory or bias correction to handle human or model raters in AI evaluation. The authors compare version changes of a model rater to changing raters in Section 4.2, and also cite Chen et al. (2024).
• Thorndike (1920), Linacre (1989): Ratings contain the rater. The authors use this point to write down the measurement equation.

Behavior over time

• Chen et al. (2024): Documents ChatGPT behavior changing over time.
• Wiese (2026): Uses humans as anchors for longitudinal comparisons of generative AI, with bias-calibrated LLM-as-judge.
• Ford et al. (2026): Evaluates harm and alignment drift of multimodal LLMs across eight model releases.

Evaluation in production

• Pan et al. (2026): Measures agents already deployed in production.
• Gupta et al. (2026): Uses an evaluation-driven operations framework on large-scale customer service agents.

Identification, information value, and sampling intervals

• Abowd et al. (1999, 2002): Identifies worker and firm effects on connected mover sets. The authors use the same logic to state that severity differences are identifiable within batches, and state changes are identifiable from the same rater across batches.
• Duncan (1956), Lorenzen and Vance (1986): Economic sampling intervals for control charts. The authors write "continuous evaluation" as the limit as the drift rate goes to infinity or the batch cost goes to zero.
• Blackwell (1953), Raiffa and Schlaifer (1961): The value of information is the minimum expected loss it reduces. Propositions 1 and 3 use this definition, but this paper does not estimate those two propositions.

Comparisons and data

• Internal comparisons: No external algorithmic baseline. Comparisons are raw batch means on the same production scores, rater A alone, deployment regime fixed effects, and the vendor release date on April 23; the ticket comparison is technical-issue tickets on the same panel. The materials are production recordings, pre-release recordings, support tickets, and job posting records.

The authors argue that existing work treats raters, time variation, and production evaluation separately; this paper writes temporal comparability as a first-order requirement of production evaluation, writes drift as evidence validity, and separates "whether the evaluation is informative" from "whether the evaluated item causes subsequent improvement."

The authors do not propose a new estimator. Instead, they write the objects that production evaluation must identify as a small decision model, then estimate two of them: the reviewer term, and the weekly variance q that the change log cannot explain.

Decision model and propositions

Session volume in week t is V_t. Under state θ_t, the failure probability is φ(θ), and traffic loss is λ times V_t times φ(θ). Intentional fixes raise the state by g(e_t), and the remaining weekly variance of movement is q. A single rating is the sum of state, reviewer severity, and noise:

y_irt=θ_t+γ_r+ε_irt

Batch means therefore mix in each reviewer's share times severity. Of the four propositions, this paper estimates that roster changes can read reviewer differences as agent changes (Proposition 4), and that the drift rate determines how quickly evidence becomes stale (Proposition 2). Proposition 1 (if fixes cannot adjust to findings, the total value of evaluation is zero) and Proposition 3 (value depends on fix capacity and is generally non-monotonic in capacity) are not estimated and are used only to read Section 6. Under the quadratic monitoring approximation, the number of weeks needed for the predictive variance to reach the square of a change D that the firm cares about is

s=(D²−P₀)/q

The interval also depends on batch cost and loss weight. The data lack these two items, so Section 5 reports only the horizon.

Scale, sample, and identification structure

Zara conducts real-time voice-video interviews: a speech model handles conversation, a text model handles reasoning and tool calls, and an enterprise-maintained service orchestrates. The production model uses a fixed version name; the paper does not give the model name. The nine categories are conversation structure, interruption handling, latency, speaking rate, coherence, audio-video sync, stuttering, audio quality, and interview outcome. Category scores are the proportion of sub-items passed, from 0 to 1; the stability index is the mean of the nine categories, then standardized. Critical failure comes from a one-item veto, of which 73% are audio-video sync failures. The broader failure flag is critical failure, or an impression score of 1 to 10 no higher than 6.

Production recordings number 2,611, from 2026-03-26 to 08-24, in 14 batches of 68 to 335 each. The last batch has 35 incomplete recordings and is excluded from trend estimation. The pre-release channel has 910 recordings and is used only in Section 6.2. Reviewer A covers all batches and scores alone before May 21; B from that date scores about half of each batch and overlaps with A on nine batches; C appears only in one batch on May 21 (noted as 47 in Table 2). The interview date is the state clock; the signing date is the clock for when findings exist; in a batch, half of the signings occur about 7 days after the interview date.

Job records show about 32,000 to 91,000 interviews per week within the window. Evaluation recordings have no job or candidate identifiers.

Two-stage estimation

The first stage runs least squares on production recordings, including all batch dummies and reviewer dummies, omitting A. Batch coefficients are the expectation "if scored by A," with no assumption on path shape. The assumptions are: interview composition is comparable across batches, the scale and trainer understanding are stable within the window, and reviewer effects are additive. The composition assumption cannot be tested on the recordings. The sampling covariance is robust to heteroskedasticity; zero-event critical failure variances have a lower bound; double-reviewed batches are correlated through the shared B coefficient, and the second stage carries this covariance.

The second stage is a local-level model: the first-stage estimate equals state plus known sampling error, the state follows a random walk, q is estimated by profile maximum likelihood, and the initial value is diffuse. Smoothed values are weighted by precision and borrow from neighboring batches whose estimates move more slowly. If q is zero, the path is constant; if q is large, it returns to the first-stage estimates. A likelihood-ratio test with q zero asks whether the state exceeds sampling noise.

Trend is a regression of case outcomes on month time, with reviewer fixed effects; standard errors are clustered by batch day and use a restricted wild cluster bootstrap (Webb weights, 999 replications). One specification adds regime fixed effects split by the three deployments, and one uses only A's scores. Item trends use deduction indicators and apply Holm and Benjamini-Hochberg corrections across the nine categories. The deployment contrast is the two production batches after the date minus the two before, with reviewer fixed effects. The authors read by magnitude because each contrast has only four batches.

Drift variants, tickets, and cost conditions

q is estimated in three ways: all batch intervals enter the estimation; the state is allowed to jump freely at the three cross-production deployment transitions, so q is identified only by intervals without deployments; and then the step from May 9 to June 1 is relaxed. When evaluation stops and no further deployments occur, the predictive variance h weeks later is the smoothed variance of the last batch plus q times h.

Ticket outcomes are the log ratio of interview-related tickets to technical-issue tickets, regressed on month time with day-of-week dummies and Newey-West standard errors with 7 lags. Another specification divides by interview volume inferred from job records. The two-period comparison does post-minus-pre on five dates from June 8 to July 15; the three evaluation-side outcomes are pre-specified. The cost account counts only reviewer pay for the stability pipeline, averaging $7,806 per month over six months, excluding engineering time for acting on findings.

实验设置

• 被评系统：Zara，micro1 的实时语音加文本推理面试智能体。论文未给出模型名；生产模型用固定版本名。评分者是三名人工培训师，不是模型裁判。
• 样本：生产 2,611 条、14 批（Table 2）。趋势用 2,576 条，排除未完成的 8 月 24 日批次（Table 4 注，35 条）。预发布 910 条。工单从 5 月 5 日到 9 月 17 日，面试相关日均 46，technical-issue 日均 312。职位记录 4,642 条。原始 critical failure 按批从 0 到 11.1%，抽样标准误约 1 到 2 个百分点（正文 3.2）。
• 指标：标准化 stability index、critical failure 比例、任一失败标志、1 到 10 印象分、九类扣分率；漂移用一周新息标准差；工单用对数比的每月百分比变化。
• 估计：批次加评审者固定效应。批次日聚类在 Table 2 为 14、Table 4 为 13。wild cluster bootstrap 为 999 次。第二阶段为轮廓最大似然。工单回归用 Newey-West、7 阶滞后。论文未报告估计量的独立重复实验次数。
• 对照：原始趋势、仅评审者 A、部署制度固定效应、4 月 23 日供应商发布日。工单对照为 technical-issue，以及除以推算面试量。
• 部署日期：4 月 12 日、7 月 16 日、7 月 29 日。7 月 7 日与 9 日的供应商发布与 7 月 16 日部署共享批次窗口，不能单独做安慰剂。

主结果

| 结果 | 估计 | 条件 | 出处 | | 评审 B 对 A | -0.792 SD | 稳定性指数，批次固定效应，n=2,611 | Table 2 | | 原始月趋势 | +0.002 SD | 指数；正文给出 p=0.93 | Table 4 | | 评审者固定效应月趋势 | +0.102 SD | 指数，SE 0.021，wild-boot p=0.002 | Table 4 | | 平滑首尾变化 | 0.53 SD | 3 月 29 日 0.05 到 8 月 10 日 0.58，SE 0.07 | 正文 4.3 | | critical failure 潜在路径 | 2.8%、6.3%、2.5% | 起点、约 5 月 9 日峰值、8 月 10 日 | 正文 4.3 | | 工单对数比 | -9.9%/月 | 面试比技术类，5 月 5 日–9 月 17 日，t=-2.69 | Table 7 |

• 名册与原始趋势：作者称 5 月 9 日至 8 月 10 日原始均值升 0.13 个标准差，调整后效应升 0.48，构成项降 0.34，改进与换评审者同量级并同时到达，因而在原始序列里抵消。摘要写两名评审者相差 0.79 个标准差。
• 尺度与人群：路径在评审者 A 的尺度上。作者称不能判断 A 或 B 谁对。路径还包含面试人群：软件与工程岗位占比从 3 月的 17% 升到 5 月的 27% 后持平；referral 占 4 月职位申请人的 79%、8 月职位的 44%。作者认为，用人群解释整条路径的可能性较低，因为变动集中在变更日志对应的量表类，且与不经过评审者的工单同向，但不能排除。
• 不是单一趋势：作者称 critical failure 是驼峰，一个月趋势概括不了形状；未完成的 8 月批次原始率为 0.0%（35 条），平滑路径把它当作十四个读数之一。作者称印象分在 A 的尺度上随窗口下行，而指数上升；Table 4 中仅 A 的印象月趋势为 +0.037（SE 0.041），评审者固定效应为 +0.034（SE 0.033），二者无星号，加入部署制度固定效应后为 +0.135 并标三个星号。

评审者向量与分项

• 同一人可以方向相反：Table 2 中 critical failure 的 B 对 A 系数为 -0.022。正文写同一批内 B 为 2.0%、A 为 5.0%。作者称同一评审者可以在分级条目上更严、在一票否决上更宽。正文对 Figure 2 给出 B 在延迟上为 -1.40 个标准差、对话结构为 -0.13；作者称事件类子项的严厉度接近零，因此调整必须按类做。
• 九类校正后的结果：Table 10 中对话结构扣分趋势为 -9.26 个百分点/月，Holm p=0.001，BH q=0.001；正文写扣分占比从 63% 到 23%。音视频同步 -3.59、音质 -2.06、面试结果 -0.83，BH q 均为 0.047，Holm p 均为 0.150。延迟 -3.00，BH q=0.063。
• 未移动的类与录像缺陷：打断、语速、连贯、卡顿的未校正 p 分别为 0.792、0.168、0.126、0.662（Table 10）。作者称下降类与变更日志里改过的部分对应，对应是描述性的。音视频同步占生产 critical failure 的 73%；8 月 9 日开发分支注明重连会另开录像并覆盖第一条，作者认为一部分 critical failure 可能是录像失败，起始日没有记录。若干类在超过 95% 的录音上触及天花板，作者称平坦有一部分是扣分率的地板。

部署对照与漂移

• 三次部署的幅度：Table 5 中，4 月 12 日指数 +0.20 个标准差、critical failure +4.70 个百分点、印象 -0.43、结构 +0.37。7 月 29 日指数 +0.12、结构 +0.32、音质 +0.11。7 月 16 日指数 -0.00。作者不标显著性：正文写 4 月指数对照在稳健标准误下 p=0.008，按四个批次聚类则 p=0.29。作者给出的一种读法是，大部署可能在修旧问题的同时引入新失败模式；录像缺陷是另一候选，分数不能分开二者。
• 安慰剂与无法归属的阶跃：4 月 23 日供应商发布日的指数为 +0.02、印象为 -0.05；critical failure 为 +3.97，作者称不干净，因为 4 月 13 日与 27 日批次同时落在两个窗口里。正文与 Figure 6 把调整后指数的最大单次水平移动放在 2026-06-01，幅度 0.34 个标准差，位于上一次生产部署之后七周；渐近临界值不适用，图中不画。作者称变更日志不能区分延迟显现、未提交的生产变更和人群变化。
• 未入账移动与期限：Table 6 中，指数在全部转移上的一周新息标准差为 0.075（0.041 到 0.142）；三次部署可自由跳跃后为 0.086（0.041 到 0.180），LR p 均为 0.000。再放开 5 月下旬一步后为 0.000（0.000 到 0.151），p=0.500。作者称指数是少数阶跃，不是连续扩散。critical failure 的对应三行是 0.930、0.762、0.666，LR p 为 0.002、0.010、0.163。正文 5.3：未入账速率下，指数预测标准差在 4、8、12 周为 0.18、0.25、0.30，约 5 周达到 4 月 12 日对照的 0.20（合并速率为 6 周）；速率的 95% 区间对应 1 到 21 周。作者称这一期限估计不精确，且由少数阶跃驱动；它应读成“只靠记录会在部署级幅度上出错的时点”，不是平滑预报。批次成本与损失权重未观测，故不计算间隔。

工单、预发布通道与成本条件

• 相对对照的方向：Table 7 全窗口上，面试工单水平为 +3.7%/月（t=1.43），每场面试为 -7.2%（t=-2.20）。6 月 1 日至 8 月 31 日对数比为 -18.1%（t=-2.85）。摘要写每月约 10%。作者称只读方向和量级：只有一部分经历失败的候选人会投诉，夏季获客离开 referral、转向无同事在企业的候选人，可能更愿投诉，这会把每场面试的工单往上推，与观察到的下降相反。
• 五个拆分日同向：Table 8 中，指数为 +0.05 到 +0.18 个标准差，critical failure 为 -2.23 到 -3.76 个百分点，任一扣分为 -0.91 到 -14.76 个百分点，工单比为 -10.3% 到 -21.5%。作者称两序列在这些周接近单调，每个拆分上的同向只说明共享方向，一个共同趋势也会得到同一张表。
• 预发布回归与成本条件：staging 印象从 5 月 11 日那周的 8.50 降到 6 月 29 日那周的 2.92，7 月中回到 6.08，最后一周为 9.00（10 条）。下降前四周 116 条的印象均值为 8.5，谷底 78 条为 3.9；连贯从 1.00 到 0.87，其余类在谷底不低于 0.92，指数从 0.02 到 -0.11。作者称管道在生产部署前看到了预发布回归，回归没有进入生产，而且出现在总体判断而非技术子项；没有提交说明引用评估发现。围绕 7 月 16 日、以 staging 为对照的差分给出指数 0.10 个标准差，但 staging 按构造先接到改动。27 个提交组中 63% 落在签署日后 7 天内，置换零假设为 67%，p=0.73。Table 9：若一次升级成本为 100 美元、9 月相对 5 月前四周少 428 条，覆盖每月 7,806 美元薪酬需要把其中 18% 记到评估项目；全额记功的月净值为 35,037 美元。作者写明这不是已识别的项目效应。

其他消融与分析

• Table 2：指数的批次固定效应 R² 为 0.014，加评审者后为 0.162；正文给出批次间标准差 0.20、个案标准差 0.89。
• Table 3：九个重叠批次的 B 减 A 指数差为 -0.90 到 -0.53，合并 -0.77（SE 0.03）；Q=19.0，df=8，p=0.015。作者称差距没有趋势，表内没有趋势系数。
• Table 4：仅 A 的指数月趋势为 +0.124；评审者加部署制度固定效应为 +0.125；含未完成批次的评审者固定效应仍为 +0.102。critical failure 的评审者固定效应月趋势为 -0.784 个百分点，wild-boot p=0.193。
• 正文 4.5：调整后指数最大单次水平移动为 0.34 个标准差，位于 2026-06-01；Figure 6 只用于定位。
• 附录 C：带上非对角抽样协方差后，指数首尾平滑变化从 0.54 改为 0.53 个标准差，新息标准差从 0.077 改为 0.075。Figure 3 图例文字写 q=0.0056/周。
• 正文 6.1：评估窗口内有 27 个提交组、3 次生产部署；Figure 8 正文写两个四月和五月的双周为 0 组，七月和八月峰值为 5 组。作者称发现每两周到达、生产变更只到三次，更像修复而非信息更稀缺，但把改动捆成少数部署也会留下同一痕迹。

作者指出的局限与后续方向

• 没有专节：论文没有 Limitations、Discussion 或 Future Work 专节。
• 结论中的边界：Section 7 写明，不把评估项目期间观察到的改进当作该项目造成的效应。

实验覆盖范围

• 一条生产系统：被评对象是一条使用固定版本名、论文未给出模型名称的语音视频面试智能体；人工评审者为 A、B、C。生产录音 2,611 条、14 批；趋势估计排除 8 月 24 日未完成批次 35 条（Section 3、Table 2、Table 4）。
• 部署与安慰剂：评估窗口内变更日志有 27 个提交组、3 次行为相关生产部署。安慰剂只用 4 月 23 日供应商发布日；7 月 7 日与 9 日和 7 月 16 日部署共享批次窗口（Section 3.1、Table 5）。
• 漂移而不计算间隔：q 由局部水平模型在第一阶段批次效应上估计，并比较是否允许部署日和 5 月下旬一步自由跳跃。论文写明未观测批次成本与损失权重，因此不计算间隔（Section 5、Table 6）。
• 工单与人群记录：工单从 5 月 5 日到 9 月 17 日，主对照是 technical-issue。职位记录 4,642 条用于体量、岗位和获客渠道；评估录音没有职位或候选人标识（Section 3.3、Table 7）。
• 未估计的两条命题：预发布录音 910 条只在 Section 6.2 使用。Table 1 把评估项目对 reliability 的效应和修复容量标为透镜而非估计。Section 6.5 写明不存在未评估对照，也没有评估强度的外生变化；提交相对签署日的时间检验为 63% 对置换零假设 67%，p=0.73，作者称既不支持也不排除“发现驱动修复”。

这是对一条已部署语音视频面试智能体的纵向测量：问的是重复人工评分能否支持“它是否更可靠、旧证据是否还有效”的运营判断。

• 问题：分数同时含有智能体、评审者和未入账移动。企业若读原始均值，会在名册变化时误读智能体，也会在系统已经移动后继续使用旧评估。
• 做法：在 2,611 条生产录音上，用批次与评审者固定效应把严厉度从状态里分开，再以局部水平模型估计周方差 q。三次生产部署允许状态跳跃，以便看日志解释不了的移动。工单用同一面板上的技术类工单做相对对照。命题 1 和 3 不估计。
• 评审者：Table 2 中，评审 B 相对 A 的指数系数为 -0.792 个标准差；批次固定效应只解释指数个案方差的 1.4%，加上评审者后为 16.2%。原始月趋势为 +0.002，评审者固定效应下为 +0.102（Table 4）。
• 路径与漂移：调整并平滑后，指数从 3 月 29 日的 0.05 到 8 月 10 日的 0.58，变化 0.53 个标准差；critical failure 的潜在率从 2.8% 升到约 5 月 9 日的 6.3%，再降到 2.5%。Table 6 中，允许三次部署跳跃后，指数一周新息标准差仍为 0.086；再放开 5 月下旬一步则点估计为 0.000。作者称按未入账速率，预测不确定约五周达到 4 月 12 日对照的 0.20 个标准差，但期限不精确，且由少数阶跃驱动，95% 区间对应 1 到 21 周。
• 运营核对与边界：Table 7 全窗口上，面试工单相对技术类工单每月降 9.9%（t=-2.69），面试工单自身水平为每月 +3.7%。作者的结论是，生产评估要同时检查跨评审者可比、漂移下证据是否仍有效，以及是否与有后果的运营结果同向。作者写明，观察期的改进不是评估项目造成的效应；按 Table 9，若一次升级值 100 美元，薪酬账要打平，需要把 9 月少掉的 428 条里 18% 记到该项目，这是一个条件，不是已识别的回报。