跳到正文
原文

Critic 可能有害:论 LLM 引导的 AutoML 搜索中 critic 的安全性

The Critic Can Hurt: On the Safety of Critics in LLM-Guided AutoML Search

arXiv:其他 AI 安全论文· arXiv:2611.19037· Gaoyuan Du, Xiaoyang Liu, Rex Zhou, Dengdu Jiang, Rong Fu, Meng Ding, Defu CaoAmazon; University of Massachusetts Boston; University of Southern California本站收录· 2 天前· 原文发表评测· 扫描记录里的位置 →

论文速读

分析与理论

据论文 PDF 整理(AI 生成),以原文为准

作者审计 LLM 评审在 AutoML 搜索中的边际效应,称 8B 评审在 8 个表格数据集中的 7 个上把搜索压到无评审基线之下。

问题
LLM 评审正被用于 AutoML、提示词优化等迭代搜索,但已有评测只问评审有没有帮助,很少问它会不会有害;作者把这一问题形式化为 critic safety:加入评审相对完全相同的无评审搜索是改善、保持还是变差。
方法
作者提出四臂审计(无评审、二次随机搜索、真实评审、oracle)在共享缓存搜索前沿上隔离评审的边际效应,再用受控故障注入区分错误率与错误结构,并给出理想化必要条件 q(m−1) > β;最后验证门控与学习检测器两种预防手段。
实验与结果
作者报告:Llama-3.1-8B 评审在 8 个二分类数据集中的 7 个上低于无评审基线,ADULT 上 Δ 为 −0.245 AUC;故障注入显示随机错误几乎无代价、方向性错误代价高;简单验证门控在 6 数据集端到端重跑中把平均损失从 −0.00541 降到 +0.00046 AUC。
局限与可以继续做的
作者指出主估计限于 96 配置、T=8 的小固定前沿,能力阶梯的 6 个数据集部分按 8B 评审的结果选取,q(m−1) > β 来自理想化模型且 (q, m, β) 对真实评审不可识别;审计测的是含解析器与回退的完整选择策略,而非评审内容本身。
实验设置Llama-3.1-8B、Ministral-3B 等 · 12 个公开 OpenML 分类数据集(credit-g、kc1、mfeat-factors、segment、splice、churn、phoneme、jm1、adult、bank-marketing、electricity、letter)、CRITFAULT 等 · No-Critic Δ(AUC)、Harm rate 等
威胁模型
论文研究的不是外部攻击者,而是 LLM 评审(critic)自身的错误引导:评审只通过反馈通道影响提议,不训练或执行代码、不改变候选空间、看不到测试效用;受害系统是带 best-so-far 现任者的有限预算 propose–evaluate–correct AutoML 搜索循环。
被测模型
Llama-3.1-8BMinistral-3BMinistral-3-8BMinistral-14BQwen3-32BLlama-3.3-70BClaude Haiku 4.5gradient-boosted bad-feedback detector
基准
12 个公开 OpenML 分类数据集(credit-g、kc1、mfeat-factors、segment、splice、churn、phoneme、jm1、adult、bank-marketing、electricity、letter)CRITFAULT20-Newsgroups 文本管道M4-monthly 预测方法选择SQuAD RAG 检索配置选择California housing、diabetes 回归任务
指标
No-Critic Δ(AUC)Harm ratep*(韧性阈值)检测 ROC-AUC(LODO)
AI 导读论文通过四臂审计和受控故障注入评估 LLM critic 在智能体式 AutoML、提示词优化与自我改进等迭代搜索中何时有害。结果显示,朴素的 8B critic 在 8 个表格数据集中的 7 个上把搜索表现拖到低于无 critic 随机搜索的下限,最差损失 0.245 AUC,幅度随数据集、frontier 和预算明显变化;更强的 critic 在所测套件上能减轻损失,但未确立普适的能力阈值。故障注入显示,best-so-far 搜索下非方向性错误几乎无代价,方向性错误会消耗有限的搜索机会,理想化有效样本计算给出必要条件 q(m-1) > β 而非部署保证。作者提出简单的可观测验证门槛和学习型检测器可降低实际损失,但都不保证保住全预算的无 critic 基线,并将发布 CRITFAULT,据其所述是首个检测 AutoML 中有害 critic 反馈的基准。

论文通过四臂审计和受控故障注入评估 LLM critic 在智能体式 AutoML、提示词优化与自我改进等迭代搜索中何时有害。结果显示,朴素的 8B critic 在 8 个表格数据集中的 7 个上把搜索表现拖到低于无 critic 随机搜索的下限,最差损失 0.245 AUC,幅度随数据集、frontier 和预算明显变化;更强的 critic 在所测套件上能减轻损失,但未确立普适的能力阈值。故障注入显示,best-so-far 搜索下非方向性错误几乎无代价,方向性错误会消耗有限的搜索机会,理想化有效样本计算给出必要条件 q(m-1) > β 而非部署保证。作者提出简单的可观测验证门槛和学习型检测器可降低实际损失,但都不保证保住全预算的无 critic 基线,并将发布 CRITFAULT,据其所述是首个检测 AutoML 中有害 critic 反馈的基准。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者问:给迭代 AutoML 搜索加 LLM 评审,何时从有帮助变成有害,如何测量与预防。

    核心问题:LLM 评审(critic)在迭代搜索中是否可能不仅无益、反而把搜索压到不用评审的基线之下,作者称之为 critic safety。

    • 场景与重要性:agentic AutoML、提示词优化、自我改进普遍采用 propose–evaluate–correct 循环,由 LLM 评审把分数和历史转成建议来引导下一次提议;作者认为评审通常只被评估"有没有帮助",很少被评估"会不会有害"。
    • 失败的不对称性:弱提议会被评估、得分低、被 best-so-far 规则丢弃;评审本身却不被打分、不被过滤,却影响之后每一次提议。其代价不是拉低现任者,而是把有限的评估预算持续引向错误区域。
    • 现有证据的缺口:作者称相邻证据(LLM 无外部信号时难以自我纠正、LLM-as-judge 有偏且不稳定)只涉及一次性判断;闭环评测通过消融反馈来量化收益,很少与去掉评审的相同循环直接对比。
    • 论文的核心观察:在 best-so-far 精英保留下,无方向错误近似无代价,方向性(系统性对抗)错误会持续消耗有效搜索轮次;收益有上限而损失没有,风险不对称。
    • 论文的贡献:形式化 critic safety 并提出四臂审计;用受控故障注入和有效搜索视界分析给出必要条件 q(m−1) > β;提出验证门控与学习检测器,并计划发布 CRITFAULT 基准。
    • 研究对象设定(非外部攻击者场景):
      • 目标:衡量评审对搜索结果的边际效应(改善、保持或恶化)。
      • 评审的能力边界:只通过反馈通道起作用,不训练或执行代码、不改变候选空间、看不到测试效用。
      • 受害系统:带 best-so-far 现任者的有限预算 AutoML 搜索循环(T 轮、固定配置空间)。
      • 判定方式:真实评审臂与无评审臂最终现任者的测试 AUC 之差(No-Critic Δ)的符号。
  2. 有哪些相关研究?

    相关工作分四组:AutoML 系统、口头反馈与自我批评、LLM-as-judge 与验证门控、反馈噪声容忍。

    经典与 LLM 驱动的 AutoML

    • 经典管道优化器(Auto-WEKA、Auto-Sklearn、AutoGluon-Tabular、TPOT 等)用贝叶斯、进化或集成方法直接优化验证指标,不推理配置为什么失败。
    • LLM 驱动的系统(SELA、AIDE、DS-Agent、AutoML-Agent、MLE-STAR 等)把 LLM 用作提议者,在结果层面评估;作者指出这些工作没有隔离评审这一角色从 helpful 到 harmful 的条件。

    口头反馈与自我批评

    • Reflexion、Self-Refine、ReAct 及训练式评审(如 LLM Critics Help Catch LLM Bugs)显示口头批评在编程/推理上可有帮助。
    • 一系列负面结果显示内在自我纠正可能净为负:去掉 oracle 标签后准确率下降、常把正确答案改错、自我验证本身不可靠。作者指出这些多在数学/代码上做内在自我评估,本文研究的是有外部验证信号锚定的表格数据评审。
    • Pan 等(2024)关于迭代自我改进中的 reward hacking 被作者称为与本文论点最接近的工作。

    LLM-as-judge 可靠性与验证门控选择

    • 文献记录了 LLM-as-judge 的偏差与不稳定(Stureborg 等、Zheng 等的 MT-Bench/Chatbot Arena);训练式验证器、self-taught evaluators、prover–verifier games 用于门控生成。
    • 作者指出这些门控是候选重排或任务级验证,本文的 Verification-Gated Critique 在搜索循环内部、用观测到的验证效用在线门控;Itkin(2026)关于延迟验证破坏多智能体信念的工作被引为验证放错位置也会有害的独立证据。

    反馈驱动优化中的噪声容忍

    • 鲁棒偏好优化给出显式噪声阈值(rDPO 容忍低于 1/2 的翻转率,对称损失增加鲁棒性)。
    • 作者指出本文的韧性阈值结构不同:来自精英式 best-so-far 动态而非梯度偏好训练,并把坏反馈分解为随机(几乎无代价)与系统性对抗(有代价),这是对称翻转率模型无法捕捉的区分。

    基线与基准:对照系统为 AutoGluon-Tabular(120 秒匹配预算、medium_quality,Table 6);数据为 12 个公开 OpenML 分类数据集;论文还在已发表的 CAAFE 系统上复现了 below-floor 现象。

    定位:作者称本文把"无外部锚定时自我纠正失败"细化为可测量的、低于 do-nothing 基线的伤害,并给出评审何时能净受益的理想化必要条件。

  3. 论文如何解决这个问题?

    四臂审计隔离评审边际效应,故障注入分离错误率与错误结构,再以门控和检测器降低 β。

    整体思路:在共享缓存搜索前沿上做四臂审计(four-arm audit)测量真实评审的端到端效应,用受控故障注入独立改变错误率与错误结构,从 best-so-far 动态推出净收益条件,最后用门控机制针对其中的对抗率 β。

    搜索循环与形式化

    • 循环:T 轮内,提议者从有限配置空间 A 选未试过的配置,训练并在冻结验证集上打分;LLM 评审把分数和历史转成自然语言纠正,条件下一次提议;返回 best-so-far 现任者,质量用隐藏测试效用衡量。
    • 记 JD(r) 为数据集 D、条件 r 下最终现任者的期望测试效用;核心对比为 ΔNC(D) = JD(real) − JD(no-critic),即真实评审相对无评审均匀搜索基线的差,ΔNC < 0 称为 below floor。
    • 实现上评审与提议由每次一次 LLM 调用完成:模型看到已评估历史和未试配置菜单,给出评估并点名下一个配置;答不出合法配置时均匀随机回退。作者明确:审计对象是含解析器与回退的完整反馈条件选择策略,不分离评审内容与选配置映射的作用。

    共享缓存前沿与四臂审计

    • 每个数据集一次性划分 train/validation/test;96 配置空间(8 模型族 × 4 变换集 × 3 超参预设)中每个配置预先训练并缓存验证/测试 AUC;搜索中只能读已选配置的缓存验证 AUC,测试 AUC 只评最终现任者。
    • 四臂预算匹配、仅反馈机制不同:(i) 无评审(均匀采样,基线);(ii) 随机反馈(独立种子的第二次随机搜索,作者注明是基线的第二次抽样而非语义安慰剂);(iii) 真实评审;(iv) oracle(直接选验证效用最高的未试配置,不可达上界)。
    • 统计:套件级精确单侧 sign-flip 检验(2^8 种符号分配),逐数据集 10,000 次 bootstrap 区间;主审计 T=8、8 个匹配种子、温度 0。

    受控故障注入与理论

    • 以干净参考策略 π* 为底,每轮以概率 p 腐化:RANDOM(均匀随机,无方向)、WORST(全局最差未试配置)、MISLEAD(现任者邻域最差,局部合理但方向有害);扫描 p,30 seeds。
    • 理论链条:精英单调性(现任者不降)→ Proposition 1(均匀腐化精确保留随机搜索基线)→ Assumption 1(对抗轮不提升现任者,实测 90.5% 满足)→ Proposition 2(韧性阈值 p* ≈ 1 − Tsat/T,Tsat 为饱和预算,实测约 1–3)。
    • 净收益判据:评审以概率 q 胜任(有效 m 配置前瞻)、以概率 β 对抗,否则均匀;由引理得有效样本量期望 Teff = T(1 + q(m−1) − β),故净收益的必要条件为 q(m−1) > β。作者强调它必要而不充分,且 (q, m, β) 对真实评审不可识别。

    预防:门控与检测器

    • 统一形式:每轮二元门 gt 决定新评审是否条件下一次提议,拒绝时走无评审回退 π0;目标是相对无评审基线的非劣性,而非榨取小收益。
    • VGC(training-free):若新提议的验证效用与现任者之差在容忍度 τt 内则放行;τt 随验证排序的 bootstrap 稳定性 ρbt 在 τmin 与 τmax 间插值,稳定性低时可弃用评审、退为均匀提议。
    • 学习检测器:以故障注入轨迹打包为 CRITFAULT(约 3,840 条标注转移、12 数据集、类别均衡),梯度提升树(100 棵、深度 3)只用三个决策时可观测特征(提议验证分、相对现任者变化、轮次比例),留一数据集出(LODO)评测。

    评测设置

    • 主审计用 8 个二分类数据集,故障注入用近零余量三数据集之外的 9 个,能力阶梯用 6 个定向选取的数据集,CRITFAULT 用全部 12 个;扩展前沿实验 T=20、250 配置,宽空间压力测试 T=16。
  4. 论文做了哪些实验?

    8B 评审 7/8 数据集低于基线(ADULT −0.245 AUC);故障注入显示方向性错误才有代价。

    实验设置

    • 被测评审:Llama-3.1-8B(主评审)、Ministral-3B、Ministral-3-8B、Ministral-14B、Qwen3-32B、Llama-3.3-70B、Claude Haiku 4.5,共七档、四家提供商、两代(2024–2025),均经 Amazon Bedrock Converse、温度 0、≤1536 token。
    • 数据:12 个公开 OpenML 分类数据集(Table 12);主审计用 8 个二分类集,能力阶梯用 6 个定向选取的集,故障注入用 9 个,CRITFAULT 用 12 个。
    • 搜索空间:96 配置(8 族 × 4 变换 × 3 超参),T=8;扩展前沿 250 配置、T=20。
    • 基线与对照:无评审均匀搜索(基线)、独立种子二次随机搜索、oracle(上界)、AutoGluon-Tabular(120s、medium_quality)。
    • 指标与统计:No-Critic Δ(测试 AUC 差);套件级精确单侧 sign-flip 检验、逐数据集 10,000 次 bootstrap CI、配对 Wilcoxon;主审计 8 seeds,故障注入 30 seeds。
    • 余量:in-space headroom(oracle − 无评审)在 12 个数据集上均低于 0.01 AUC(0.0013–0.0077),三个近零余量集 ≤0.0003。

    主结果

    能力阶梯(Table 1/Table 5,No-Critic Δ,AUC,8 seeds;3B 只测了 4 个数据集):

    表格较宽,可左右滑动

    数据集3B258B248B2514B32B70BH4.5
    adult−.210−.245+.001+.001+.001−.011+.002
    electricity−.064−.072−.012+.012+.008−.031+.006
    jm1−.008−.080−.003−.002−.000−.011+.002
    kc1+.000−.028−.000−.001−.001−.023−.000
    bank-marketing未报告−.007+.000+.000+.001−.007+.001
    credit-g未报告+.006−.005−.012−.007+.006−.001
    • 作者报告:2024 代 8B 评审(Llama-3.1-8B)在 8 个二分类集中的 7 个 Δ 为负(−0.009 到 −0.245),套件级 sign-flip p = 0.0078;仅 credit-g 为正(+0.006)。
    • 作者称伤害随能力衰减但无能力阈值:14B 档全部点估计在零的 0.012 以内(6 个中 3 个仍为负),14B 相对 8B 在 6 个集中的 5 个上改善(p = 0.047);Llama-3.3-70B 在 6 个集中的 5 个上仍为负,规律不随规模或年代单调。
    • 作者报告 upside 不对称:干净参考策略最大收益约 +0.005 AUC(Table 15),而 8B 评审典型损失约 0.03、最差 0.245–0.28 AUC。

    故障注入:错误结构而非错误率

    • 测了什么:对干净参考策略按概率 p 注入 RANDOM/WORST/MISLEAD 三种腐化(30 seeds,Table 14)。
    • 结果:RANDOM 即使 p=1 退化也低于 0.005 AUC;对抗性腐化的实测阈值 p* 在主二分类集上为 0.6–0.9,letter 为 1.0;理论近似 p* ≈ 1 − Tsat/T 在 T=8、Tsat∈[1,3] 时预测 0.63–0.88,与实测吻合。
    • 作者解读:循环容错不是因为评审准,而是精英单调性把任务从"从不出错"变成"T 轮中供给 Tsat 个有效轮次"。

    跨域测试与真实系统复现

    • 跨域(Table 2,同一 8B 评审、8 seeds):仅原表格管道搜索明显为负(−0.245 [−0.27, −0.22]);信用评分控制(+0.000)、20NG 文本两种设置(−0.003、+0.003)为中性;M4 预测(+0.001)与 RAG 检索(+0.007)略为正。作者称这与"评审先验与任务错配"假说一致,但未直接检验。
    • 已发表系统:用同一 Llama-3.1-8B 跑 CAAFE,8 个冻结划分上 3 个数据集为负(ADULT −0.030、bank-marketing −0.054、credit-g −0.090),均值 −0.021;作者称这说明 below-floor 不限于本文缓存前沿,但非逐数据集复现。
    • 提示词与算力(Table 10):CoT 把 ADULT 从 −0.278 提到 −0.041 但 4 个集中 3 个仍低于基线;self-consistency 花 5 倍生成(40 次)在 ADULT 上 −0.071,比 CoT 更差;零调用的无评审臂优于所有变体。

    预防的端到端结果

    • 配对 VGC 审计(8 数据集、8 配对种子、均匀拒绝分支):自适应减固定为 −0.00006 [−0.00109, 0.00090];固定减均匀 −0.00032、自适应减均匀 −0.00038,下界均高于 −0.002,作者称支持 0.002 裕度下的探索性平均非劣,而非逐数据集安全保证。
    • 可部署重跑(6 数据集):原始策略相对均匀搜索平均 −0.00541 AUC,简单不提升门控 +0.00046,学习检测器 −0.00015;简单门控在 bank-marketing、kc1 上优于原始策略,检测器在 bank-marketing、electricity 上优于原始策略(论文称 significantly)。
    • 检测器分类性能:CRITFAULT 上 LODO 平均 AUC 0.95(5 特征,Table 13);可部署 f0–f2 在真实伤害标签上 0.982,加两个离线结构特征 0.992;跨评审模型留一模型出平均 0.988。作者强调分类 AUC 本身不构成安全过滤。

    其他消融与分析

    • 扩展前沿(250 配置、T=20,同一 8B 评审):ADULT −0.245 → +0.0003,electricity −0.072 → +0.0003,jm1 −0.080 → −0.004;前沿与轮次同时变,作者不归因于单一因素。
    • 宽空间压力测试(建模的系统性对抗评审,T=16,Table 7):空间扩大 2.6 倍时 5 个数据集上伤害全部增大(如 adult −5.8 → −13.2,AUC×10^3)。
    • 搜索骨架(Table 9,30 seeds):sequential −0.0183(9/12 集为负)、multi-agent −0.0095、tree-search −0.0080、parallel k-wide −0.0004(1/12)。
    • 解析失败:ADULT 64 轮零回退却最受伤害,credit-g 回退最多(18/64)却不受伤害;作者称伤害与解析失败反相关。
    • 微调对照(Table 11,QLoRA、LOO):8 个留出集上 Δ 均回到 ±0.003 内,但无一个 CI 正向排除零,且需要部署时不可得的 oracle 监督。
    • 回归任务(20 seeds):系统性对抗评审在 California housing 上 Δ = −0.034 R²、diabetes 上 −0.024 R²,CI 均排除零。
  5. 有什么可以进一步探索的点?

    作者列出范围、审计对象与理论假设三类局限;实验覆盖 12 个 OpenML 数据集与 7 档评审。

    作者指出的局限与后续方向

    • 主估计的范围(§7 Scope):结论针对小固定前沿上的有限预算表格搜索(96 配置、T=8),所有数据集 in-space headroom 低于 0.01 AUC;前沿与轮次一起增大时 below-floor 效应缩小,作者明确不声称长 horizon 下仍有伤害。
    • 能力阶梯的选样(§7 Scope):6 个数据集部分按 8B 评审的结果选取,只用于研究已确立效应随能力的变化,不用于估计伤害普遍率;逐数据集区间只量化单一冻结划分下的搜索随机性。
    • 审计隔离的对象(§7):评审与提议共用一次 LLM 调用,随机反馈臂是独立种子随机搜索,因此审计测的是含解析器与回退的完整选择策略,而非评审内容本身。
    • 理论的理想化(§7、§5.5):q(m−1) > β 在 i.i.d. 分数、独立轮次的理想化模型中推出,必要而不充分;(q, m, β) 对真实评审不可识别,family KL 只是方向性错配的代理。
    • 跨系统推广留作未来工作(§5.5):把 q(m−1) > β 定量边界推广到自我改进、验证器引导解码或偏好优化需要按场景设假设,作者明确列为 future work。
    • 门控的校准与保证(§6.6 小结):门控阈值在评审、搜索空间或数据机制变化时需重新校准;自适应容忍与学习检测都不支持普遍非劣性主张。

    实验覆盖范围

    • 被测评审共 7 档(3B–70B 开源模型加 Claude Haiku 4.5)、四家提供商、两代;主审计 8 个二分类 OpenML 数据集,全套件 12 个。
    • 主审计 T=8、8 个匹配种子、温度 0;故障注入 30 seeds;扩展前沿 T=20、250 配置;宽空间压力测试 T=16。
    • 防御评测包括 training-free 的 VGC(固定与自适应容忍)和学习检测器,端到端重跑用 6 个数据集、8 配对种子、均匀拒绝分支。
    • 跨域覆盖信用评分、20NG 文本管道、M4 预测、RAG 检索及两个回归任务;已发表系统复现仅 CAAFE 一个。
    • 论文未报告门控端到端重跑的逐数据集样本量以外的重复次数细节;检测器在真实伤害标签上的评估为 6 个数据集、384 条真实评审转移。
  6. 总结一下论文的主要内容

    作者形式化 critic safety:弱评审可把 AutoML 搜索压到无评审基线之下,门控能减损但不保底。

    一篇关于 LLM 评审安全性的分析论文:把"给迭代搜索加评审是否有害"形式化为 critic safety,并在表格 AutoML 上系统测量。

    • 问题:propose–evaluate–correct 循环里,提议会被验证而评审不会;作者认为评审的错误引导会持续消耗有限评估预算,而既有评测只测评审的收益。
    • 方法:四臂审计(无评审、二次随机搜索、真实评审、oracle)在共享缓存前沿上隔离边际效应;受控故障注入分离错误率与错误结构;理想化分析给出净收益必要条件 q(m−1) > β;预防端用 training-free 验证门控(VGC)和在 CRITFAULT 上训练的检测器针对对抗率 β。
    • 主结果:Llama-3.1-8B 评审在 8 个二分类数据集中的 7 个上低于无评审基线,ADULT 上 Δ = −0.245 AUC,套件级 sign-flip p = 0.0078;14B 档衰减到零的 0.012 以内,但 Llama-3.3-70B 仍在 6 个集中的 5 个上为负,作者称无普遍能力阈值。
    • 机制证据:随机腐化即使全量也几乎无代价(<0.005 AUC),对抗性腐化的实测阈值 p* 为 0.6–0.9(Table 14);真实有害轨迹中评审口头认可强族却逐轮提议更差配置(附录 G)。
    • 预防效果:端到端重跑中简单验证门控把平均 Δ 从 −0.00541 提升到 +0.00046 AUC,检测器为 −0.00015;作者称两者都不保证逐数据集守住无评审基线。
    • 作者的结论:评审不是免费组件——信任之前先在目标预算下对照无评审基线审计,能力或验证不足时就门控或弃用;作者计划发布 CRITFAULT 基准及全部工件。
阅读原文arxiv.org